阿里云 Elasticsearch 云原生智能日志存储引擎 OpenStore.pdf

1、中国开发者大会 2023 阿里云Elasticsearch云原生智能日志存储引擎OpenStore郭嘉梁，技术专家阿里巴巴，2023/04/08中国开发者大会 2023阿里云Elasticsearch日志场景概况1324分享嘉宾阿里云Elasticsearch日志场景最佳实践阿里云Elasticsearch引擎内核优化阿里云Elasticsearch日志场景未来规划阿里巴巴，郭嘉梁中国开发者大会 2023阿里云Elasticsearch日志场景概况中国开发者大会 2023 日志集群占比日志集群平均核数日志集群数据量35%PB40阿里云Elasticsearch日志场景概况中国开发者大会 202

2、3 阿里云Elasticsearch日志应用场景业务洞察线上运维问题诊断运营监测留存分析业务功能改进大盘分析攻击溯源数据归档日志审计走势分析用户支持日志使用场景广泛中国开发者大会 2023 阿里云Elasticsearch日志场景特点日志场景集群特点写入吞吐高查询秒级响应存储数据量大倾向访问近期数据中国开发者大会 2023 日志场景自建集群的痛点问题贵慢差难低性价比2、数据量大导致扩容/宕机恢复,数据迁移慢4、索引多,生命周期不同导致冷/热数据迁移难管理1、写入吞吐高,存储时间长导致计算资源和存储资源成本高3、冷/热查询没有隔离机制导致稳定性差中国开发者大会 2023阿里云Elasticsea

3、rch日志场景最佳实践中国开发者大会 2023 阿里云Elasticsearch日志场景最佳实践大图451321.冷热查询共享计算资源计算成本降低50%2.OpenStore混合存储存储成本降低70%5.托管写入写入性能提升10倍4.冷/热数据自动转储免运维3.计算存储分离海量冷数据快速恢复、快速弹性中国开发者大会 2023 阿里云Elasticsearch日志场景最佳实践成果高性价比01020304高稳定写入性能提升10倍查询秒级响应低成本存储成本降低70%计算成本降低50%高易用免运维全观测高可用快速弹性快速恢复中国开发者大会 2023阿里云Elasticsearch引擎内核优化中国开发者

4、大会 2023 阿里云ES混合存储（1/3）计算层无状态，随时热升级 扩容无需数据重分布 减少副本存储成本 计算存储分离云盘ECS云盘云盘ECSECSprimaryreplicareplicaECS共享文件系统ECSECS存算一体存算分离中国开发者大会 2023 阿里云ES混合存储（2/3）索引文件自动迁移 Anti-Cache 元数据管理引擎 冷/热数据自动转储Node1(primary shard)Node2(replica shard)segmentHot Storedata replicationShared Cold StoresegmentsegmentHot Store1243p

5、ersistfree spacepersist5free spaceMeta EngineMeta engine中国开发者大会 2023 阿里云ES混合存储（3/3）基于Raft协议的一致性 文件级物理复制 文件级软链复制 自适应数据复制Read Write EngineTranslogBARead Only EngineTranslogBAprimary shardreplica shardstoragestorage1.index请求2.写translog3.refresh刷新增量segmentrefresh segmentmerged segment4.物理复制增量segment5.软链

6、复制merged segment6.reopen newsegment2.写translogAshared storage中国开发者大会 2023 阿里云ES内核查询性能优化（1/3）查询倒排索引 查询列存索引 串行执行 查询延迟高 查询性能优化：Lucene查询剖析docId1docId2docId3docIdNtermPostingListvalue1value2valueNfield1doc1doc2docNvalue1value2valueNfield2doc1doc2docNvalue1value2valueNfieldNdoc1doc2docNDocValues1.Accordin