2020年终大会-数据仓库：7-3.pdf

1、贝壳基于Apache Druid的 OLAP引擎应用实践 王 啸 现贝壳基础平台中心大数据平台部工程组-资深研发工程师，负责OLAP平台查询引擎相关技术 曾经供职于中国电信、百度，负责大数据平台的架构设计与研发，有着丰富的实践经验 个人介绍 1. 贝壳OLAP平台介绍 2. OLAP技术选型策略 3. Druid在贝壳的应用实践 4. Druid结合贝壳业务场景的改进 5. 未来规划 分享大纲 1. 贝壳OLAP平台介绍 平台架构 一站式指标平台 QueryEngine 奥丁图灵CA运营 使用对象 路由层 引擎层 指标层 数据建模例行任务指标定义与加工指标API 元数据平台 查询转换查询缓存查

2、询降级引擎切换 KylinDruidClickhouse 监控平台 经纪人 运营人员房产分析师 应用层 数仓人员 客户 数据源构建时间长，不能完全满足业务方及时查询要求 数据源底层存储占用巨大 查询灵活性较差，可能需要构建多个cube适配 相较源数据膨胀率巨大，产生可怕的维度爆炸 调优门槛相对较高 使用Kylin存在的问题： 2. OLAP技术选型策略 我们需要什么样OLAP引擎 要求 亚秒级 响应 支持较高 的并发 灵活易用 查询接口 快捷的数 据导入 PB级别的 数据量 能满足五项要求的开源OLAP数据库，做全面的对比 种类大数量支 持 查询性能高并发 实时数据 摄入 实时数据 更新 Jo

3、in支持 灵活性成熟程度重要特性运维要求备注 druid 高高高支持不支持直接 update， 但 支持Last Aggregator 语义 差SQL支持有限 支持Online Schema变更 高精确去重（官方 支持有限） 但社区提供了离 线精确去重解决 方案 支持多值维度 中仅支持时 序数据 kylin 高高高3.0版本支持， 老版本不支 持 不支持差支持SQL(非 标准) 适合固化维 度分析 高支持精确去重中 doris 高高中支持中中SQL支持好 支持Online Schema变更 支持数据 Update操作 中支持精确去重中 clickhouse 高高中支持弱差支持SQL(非 标准) 高支持精确去重 支持Array等类 型 高 220 73 143 166 60 55 110 22 20 110 45 15 18 20 0 50 100 150 200 250 数据源1数据源2数