当开源遇到云原生-阿里云 Elasticsearch 内核持续优化技术分享.pdf

1、中国开发者大会 2023阿里云Elasticsearch内核持续优化杨孔仕，阿里巴巴技术专家2023/4/8中国开发者大会 2023业务发展分享嘉宾泛日志引擎架构演进自研引擎内核通用增强(Apack)中国开发者大会 2023业务发展集群数量1w+节点数7w+数据量20PB+阿云Logstash Service阿云Elasticsearch多Beats数据采集中Kibana可视化100%兼容开源，键部署，开箱即在数据管道中进处理、过滤、传输灵活可视化，搭建数据报表分析盘从多个来源轻量化的采集各类数据通物理复制有副本索引的写性能提升动热点均衡解决负载不均，提升CPU利率主键查询去重带有主键档的写性

2、能提升慢查询隔离池单条查询的开销追踪和逻辑隔离协调节点流控流量调度和异常机器秒级切流索引压缩更索引压缩，降低存储成本集群Qos限流持节点索引的读写限流写请求聚合提升写吞吐，降低写拒绝容灾部署冷热分离+计算存储分离架构弹性伸缩智能诊断和监控键完成多可区部署，通过可架构保证服务稳定性持集群hot-warm分离和计算存储分离架构，实现成本和性能的双重保障集群灵活扩缩，热重启平滑变更，轻松应对业务峰波动全监控、分析集群多维度潜在险，提供异常分析和优化建议机器学习安全与权限APM/SIEM监控告警持各类授权认证和权限管控对数据实时建模，实现根源分析和预判集中管理监控指标，便捷实现异常告警应性能监控和安全

3、场景解决案架构演进-产品架构阿云Elasticsearch产品架构中国开发者大会 2023多模态搜索AliWS分词向量检索DB检索加速云原生全观察与分析级监控报警服务志增强版Indexing ServiceOpen StoreElastic Stack产品组件X-Pack商业特性内核增强性能、低成本、稳定性增强级管控和智能运维平台云原数据采集5负载不均 迁移热点分片带来大量数据拷贝 多副本带来重复计算和存储 节点扩缩容带来的数据搬迁数据副本数据搬迁中国开发者大会 2023架构演进 云上用户痛点云原生很重要的一个特征是弹性中国开发者大会 2023架构演进 计算存储分离写入性能提升100%计算上避

4、免了副本写入的CPU开销存储成本倍数级降低业务数据只存储一份秒级弹性扩缩容扩缩容无需搬迁数据，轻松应对高峰流量云上用户的用云成本不仅仅只是账单费用性能调优预留机器成本集群运维写入配置优化应对流量洪峰业务增长扩容稳定性保障异常流量保护架构演进 云上用户痛点业务高峰期业务低峰期中国开发者大会 2023低成本云端写入serverless架构，按实际写入流量计费，的极致的索引构建性能，通过自研索引结构、物理复制、优化机型性价比等手段，索引构建性能相比原生提升200%降低 70%索引构建成本弹性扩展写入资源由云端后台调配和管理，无需提前预留资源，极致的弹性扩展能力免运维零学习成本，完全适配ES原生使用方

5、式，无需关注写入资源和写入压力架构演进 Indexing Service中国开发者大会 2023中国开发者大会 2023构架演进 Indexing Service自动热点均衡High CPU NodeHigh Shard num NodeLow CPU NodeLow Shard num NoderelocatingrelocatingMaster20%CPUShard RebalanceShard Rebalance10线上用户集群经过自动负载均衡优化后，CPU平均利用率从20%提升至50%架构演进 自动热点均衡中国开发者大会 2023日志场景更看重成本，存储成本占比在50%以上存储成本高预

6、留磁盘成本运维磁盘扩容占总成本50%以上应对流量洪峰业务增长扩容冷热分离不易评估冷热数据占比难中国开发者大会 2023架构演进 云上用户痛点中国开发者大会 2023架构演进 Open StoreIndexing ServiceUser ElasticsearchSLBOpenStore1.Index metadata2.Forward bulk API3.Build segmentData NodeData NodeData NodeCoordinatingCoordinat