JuiceFS 在 Elasticsearch 的冷热数据分层实践.pdf

《JuiceFS 在 Elasticsearch 的冷热数据分层实践.pdf》由会员分享，可在线阅读，更多相关《JuiceFS 在 Elasticsearch 的冷热数据分层实践.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、中国开发者大会 2023JuiceFS 在 Elasticsearch 的冷热数据分层实践苏锐 Juicedata 合伙中国开发者大会 2023 Elasticsearch 的数据分层架构设计录对象存储上使 Elasticsearch 存在的挑战JuiceFS 的架构设计及原理解析JuiceFS 在 Elasticsearch 的实践及案例Elasticsearch 的数据分层架构设计中国开发者大会 2023 数据流（Data Stream）流式写仅追加写必须带有时间戳由多个索引构成典型数据：志中国开发者大会 2023 数据流（Data Stream）中国开发者大会 2023 Index Li

2、fecycle Management(ILM)ILM 定义了索引命周期的 5 个阶段热数据（Hot）：频繁更新和查询的数据温数据（Warm）：不再更新，但仍会被较频繁查询的数据冷数据（Cold）：不再更新，且查询频率较低的数据极冷数据（Frozen）：不再更新，且乎不会被查询的数据删除数据（Delete）：不再需要到，可以放删除的数据中国开发者大会 2023 节点（Node Role）为不同 ES 节点分配不同的基于 ILM 的索引命周期的不同阶段同个节点可以有多种为不同的节点配置不同的存储（如 SSD、HDD、JuiceFS）node.roles:data_hot,data_content中

3、国开发者大会 2023 命周期策略（Lifecycle Policy）根据索引的不同维度特征（如、档数、时间）动地将索引从某个命周期阶段滚动（rollover）到另个阶段中国开发者大会 2023 命周期策略（Lifecycle Policy）对象存储上使 Elasticsearch 存在的挑战中国开发者大会 2023 对象存储架构S3 于 2006 年发布以存储海量结构化数据为标能撑万亿级件数，件均适合低廉的存储成本（持 EC），可靠的数据持久性（11 个 9）基于 HTTP 协议的 RESTful APIKV 结构的元数据设计数据不持修改最终致性中国开发者大会 2023 对象存储 vs.件系

4、统件系统对象存储存储规模百亿级（分布式）万亿级致性 强致性部分强致性容量管理动弹性 弹性原重命名 持不持List 性能 低修改数据 持不持访问接POSIXHTTP中国开发者大会 2023 对象存储 vs.件系统如何实现 Rename？mv/foo/bar件系统对象存储中国开发者大会 2023 对象存储 vs.件系统如何实现 Rename？mv/foo/bar件系统对象存储中国开发者大会 2023 对象存储 vs.件系统如何实现 Rename？mv/foo/bar件系统对象存储Rename 过程没有事务保证最终致性 JuiceFS 的架构设计及原理解析中国开发者大会 2023 JuiceFS 架

5、构强致性分布式件系统插件式元数据引擎使对象存储作为数据存储元数据引擎可横向扩展件友好的元数据设计本地多级缓存多种类型客户端兼容 POSIX、HDFS、S3 API中国开发者大会 2023 JuiceFS 读写性能左图（越越好）：使 fio 进顺序读写性能测试，对 S3FS、Amazon EFS 和 JuiceFS 的读写吞吐。右图（越越好）：使 mdtest 进元数据性能测试，对 S3FS、Amazon EFS 和 JuiceFS 的元数据请求 IOPS。JuiceFS 在 Elasticsearch 的实践及案例中国开发者大会 2023 Why JuiceFS?完全兼容 POSIX，应侵。弹

6、性容量存储成本远低于 SSD写性能远于对象存储本地缓存加速运维便捷中国开发者大会 2023 Elasticsearch x JuiceFS 冷热数据分层实践准备多种类型节点，为不同节点分配不同的。Warm 或 Cold 节点挂载 JuiceFS 件系统创建命周期策略为索引设置命周期策略（通过索引模板或 index.lifecycle.name 配置）中国开发者大会 2023 Elasticsearch x JuiceFS 提示Warm 或 Cold 节点的副本数（replic