Elasticsearch Serverless 服务化在人群平台的日志可观测应用.pdf

《Elasticsearch Serverless 服务化在人群平台的日志可观测应用.pdf》由会员分享，可在线阅读，更多相关《Elasticsearch Serverless 服务化在人群平台的日志可观测应用.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、中国开发者大会 2023Elasticsearch Serverless服务化在人群平台的日志可观测应用朱杰，Elastic高级解决方案架构师钱雨欣，阿里云高级产品经理2023/04/08中国开发者大会 2023 Elasticsearch日志可观测技术演进趋势及挑战Serverless技术：下一代计算引擎云原生 Elasticsearch Serverless 技术解读基于人群平台的Serverless日志可观测应用中国开发者大会 2023 产业背景：日志可观测应用的几个阶段Level 1工具具备多种IT运维工具，能够实现监控及日常运维管理Level 2归档级各级运维数据已实现归档及持久存放

2、无法全局搜索Level 3检索级通过一个平台实现所有运维数据全局搜索无法关联分析Level 4分析级通过关联所有运维数据从而分析解析原因并且能根据分析结果自动化运维无法事前预防Level 5预防级根据历史所有运维数据和回归算法实现故障预防无法判断各种指标和故障之间的关系Level 6智能级通过有监督的机器学习或者智能算法进行预测机器不断学习+经验积累中国开发者大会 2023 产业背景：企业日志可观测方案现状与挑战日志量大业务多程序员打日志比较随意日志输出级别没有控制日志质量不高日志没有意义没有暴露可观测性开发输出的日志格式随意 解析复杂运维开发分离运维不理解开发输出的日志日志先收进来再说只对采

3、集器自带的结构化字段索引日志文本只做全文索引事后故障诊断根据错误全文匹配Elasticsearch成本太高中国开发者大会 2023 Elasticsearch挑战：海量日志带来的成本与稳定性压力低峰期资源利用率低预留的计算资源、存储资源在低峰期资源闲置2高峰期写入压力大Elasticsearch 扩容会影响服务稳定性1高峰期写入并发平均 40K需要准备充足的计算资源满足高峰期写入能力低峰期写入并发平均 20K仅需要较少计算资源即可满足低峰写入流量业务突发峰值写入并发高达60K无法准确预测和预估业务高峰期业务低峰期中国开发者大会 2023 Serverless技术：在Elastic Cloud

4、上的无状态架构演进Elasticsearch有状态系统TranslogIndex StoreCluster Metadata持久化存储Elasticsearch Stateless架构 将数据的持久化存储从本地磁盘转移到对象存储 架构上分离索引层和搜索层，实现更加灵活的独立扩展中国开发者大会 2023 Serverless技术：下一代计算引擎Serverless即无服务器计算，强调的是一种架构思想和服务模型。开发者无需关心基础设施（服务器等），而是专注到应用程序业务逻辑本身何为 Serverless？Serverless 三大特征 资源的解耦和服务化自动弹性伸缩 按使用量计费 自动弹性伸缩中国

5、开发者大会 2023 Elasticsearch Serverless：云原生产品技术解读什么是Elasticsearch Serverless？业务秒级弹性伸缩高峰期快速弹性满足业务需求，低谷期避免资源浪费规格随业务需求自动调整成本大幅降低超低门槛，真正负载与资源动态匹配的按量付费打破固定资源付费模式高稳定性免运维无须手动变配，无须规划及管理集群资源配置极大提升运维效率PAASServerless不感知部署环境下的实际机器资源对部署机器及配置拥有更多控制需根据资源水位情况规划配置扩缩应用可以实现自动扩缩容有最小规格的使用门槛限制即买即用，只需为实际占用的资源付费开发者只需要写应用代码不需要维

6、护服务器本身在2022年公测上线，在兼容开源Elasticsearch基础上，实现资源跟随业务负载的动态弹性伸缩，不再需要进行复杂的业务资源评估和运维工作中国开发者大会 2023 Serverless技术：Elasticsearch云原生引擎价值IndexingIndexing ServiceServiceHot storageHot storageHot storageOpenstoreOpenstore存储存储Openstore cold storageCacheaccelerateAnalyticsearchAnalyticsearch检索分析检索