ByConity 对 ClickHouse 的存算分离实践.pdf

1、DataFunSummit#2023ByConity对ClickHouse的存算分离实践-字节跳动-资深研发程师01ByConity研发背景02ByConity介绍03ByConity存算分离设计04ByConity存算分离优化录 CONTENTDataFunSummit#202301ByConity研发背景ClickHouse架构Shared-nothing+MPP架构 Shard&Replica 计算存储紧耦合 部署简单 性能较好 对等节点（no master）ClickHouse架构在字节遇到的问题 扩缩容代价 读写互相影响 多租户互相影响 资源浪费/总成本存算分离概览 优势-资源弹性与

2、成本 计算与存储资源独扩缩容-读写分离 读写任务使不同的计算组-多租户隔离 不同租户使不同的计算组 劣势 远程数据读写带来的性能损耗DataFunSummit#202302ByConity介绍ByConity是什么 开源的云原SQL数仓引擎-弹性扩缩容-读写分离-多租户隔离-性能-数据强致https:/byconity.github.io/ByConity时间线 2018/01:ClickHouse开始在字节内部使 2020/01:启动ByConity研发 2021/12:引擎发布ByteHouse云数仓版 2022/05:启动ByConity开源 2023/01:发布ByConity Bet

3、a 2023/05:发布ByConity 0.1.0 GA版本https:/ 服务接层-Server-TSO-元数据存储(FDB)-ResourceManager-DaemonManager 计算组(Virtual Warehouse)-Worker-Disk Cache 云存储-HDFS-S3ByConity组件交互DataFunSummit#202303ByConity存算分离设计元数据管理 元数据对象 库/表/视图定义 DataPart,DeleteBitmap,etc 事务,Statistics,etc KV Storage:可/性能/持久化 Part元信息缓存 Table Host

4、Server Master负责维护全局致的拓扑信息存储格式 每个Part对应个件 件内部保持按列存储 Part Name partition_min_max_level_xid min/max/xid从TSO分配 Mutation 多版本实现 Part Chain数据写 阶段 创建事务记录并写KV 将数据件的undo信息写KV 将Part件写云存储 将Part元数据写KV 阶段 将事务记录CAS修改为Committed 异步清理 设置Part的提交时间 清理KV中的undo信息和事务记录Local DiskCache 使Worker本地盘缓存热数据 缓存策略:频次/preload Bucket

5、-LRU淘汰算法 Part分配采Cache-aware调度 致性哈希 拓扑发变化时，最化cache失效影响 避免数据reshuffle缓存粒度 Segment 优势 可配置 适合件存储 劣势 存储存在少量浪费缓存流程DataFunSummit#202304ByConity存算分离优化元数据缓存优化 Performance Fine-grained locking Adaptive scan strategy Scan-wait-free map Memory footprint ServerDataPart(PB wrapper)Dictionary encoding large fields Isolation Server VW读写性能优化 读取-索引/Checksums本地缓存+并加载-Preload mode 写-批量写-多线程并写-Merge:prefetch input files云存储客户端优化(libhdfs3)Block Location Cache Peer Cache Fast Switch Read Hedge ReadJoin the Community!Byte+Convert+Community 主:byconity.github.io 微信公众号:ByConity 哔哩哔哩:ByConity感谢观看