02-小红书云原生实时数仓的建设与实践-王成.pdf

1、红书云原实时数仓 的建设与实践OLAP研发专家/王成王成 2020年12加红书数据技术部从0到1主导/负责红书云原实时数仓架构、落地与迭代作CONTENT背景：云原落地前，使ClickHouse遇到的问题和挑战云原 OLAP V1.0 建设之路V-next 湖仓体建设规划分析型数据库(OLAP)商业项:开源项:HologresClickHouse云原数据架构-云上的原住应层计算引擎层计算资源层数据层存储层数据产具分析具实时/离线引擎Dor Rugal Waypoint VelaGuanyuan GravityTez Red Spark Flink数据分析 Hive PrestoK8s Yarn

2、 Pavo Parquet ORC Avro S3 OSS COS AlluxioOLAP的引应层计算引擎层计算资源层数据层存储层数据产具实时/离线引擎Dor Rugal Waypoint VelaTez Red Spark FlinkK8s Yarn Pavo Parquet ORC Avro S3 OSS COS AlluxioSSD,HDD,云盘有数据格式独的机器资源分析具内容产品具Guanyuan Gravity UBA 实验平台蒲公英 Norma 灵犀 鹰眼 即席分析Presto ClickHouse StartRocks实时数仓发展历程05 试应 ClickHouse 201920

3、2011 业务拓展40+集群 10+业务线2021202120222022+01 研云原 数仓项07 研云原 数仓 V1.0正式落地10 V1.0 全落地主要业务线11 湖仓体云原数仓 V-next背景：云原落地前ClickHouse遇到的问题和挑战痛点:扩容周期 需要额外的数据搬迁或重写 多副本机制引的中瓶颈痛点:扩容难-扩容周期-动的数据搬迁或重写ClickHouse share nothing(共享)架构新增节点扩容难-多副本机制中瓶颈ZK引同步瓶颈，制约集群扩展多副本-成倍的成本查询的致性问题致性问题数据同步链路复杂痛点:数据同步难-数据同步链路复杂 同步链路复杂数据写影响户查询体验资

4、源利率低户查询体验不稳定痛点:运维难-资源利率低 低平均CPU使率集群容量预估困难存储计算例失调业务需求呈现规律性的波峰振荡运维难-户查询体验不稳定户查询体验不稳定峰查询期间失败率多户/业务线互相扰，优先级管理解决案：云原存算耦合资源隔离能弱数据同步成本、致性差存算分离、弹性扩展提供更强的计算资源隔离能打破数据壁垒持事务和原性 问题:标:研云原实时数仓的价值-灵活性：快速响应业务-主可控：保障性能、稳定性、安全性-符合红书多云战略云原OLAP V1.0建设之路aws/cos/oss云原OLAP V1.0数据源RED ClickHouseA/B测试告业务户为分析数据应OLTP数据流数据对象志计算

5、隔离弹性扩展故障恢复容器化元信息中多户管理服务存储事务分桶冷热分层数据加速计算数据集成离线实时实时报表查询调度云原存算分离架构计算组 N元信息中计算组-1MasterServerWorker元信息层计算层存储层查询路由器缓存分布式件系统CFS/JuiceFS对象存储COS/S3/OSS架构特性:共享元信息中，共享存储基于云存储，按需使，限扩展计算资源池化，以计算组为单位，弹性扩展 分布式执框架-分布式写事务 分布式执框架-分布式写事务弹性扩容和故障容错分布式存储选型对象存储 价格低 限扩容 并发优点 延迟 单点性能低 不稳定缺点挑战 亿级QPS数据法实时写 写不稳定，影响数据致性 数据摄 查询

6、性能慢 查询受络影响，成功率不稳定查询分析 并读取 断点续传WORKER多级智能缓存 加速数据查询SSD对象存储分布式缓存.READREAD内存缓存WORKER内存缓存被动缓存主动缓存元信息缓存表级别定义缓存策略基于查询历史智能缓存策略HDDSSDHDD海量数据实时分析-分层存储云盘对象存储写内存云盘对象存储延迟*IOPS*可靠性*扩展性*成本*离线数据同步链路优化-优化前ODS/DWClickHouseBIFlinkParquetMergeTree对象存储本地存储离线数据同步链路优化-优化后ODS/DWRedCK