2019年Apache Doris在美团点评的实践.pdf

1、Apache Doris 在美团点评的实践中国软件技术大会CHINA SOFTWARE TECHNOLOGY CONFERENCE大纲大纲Doris 技术选型Doris 典型应用Doris 关键特性Doris 功能改造What is DorisDoris is MPP-based Interactive Data Analysis SQL DB 同时支持高并发的点查询和高吞吐的Ad-hoc查询 同时支持实时和离线导入 同时支持明细和聚合模型 高可靠，高可用，易扩展 兼容 MySQL 协议和语法 支持在线 Schema 变更技术选型：技术选型：2018 年初年初 OLAP 平台概况平台概况离线固

2、化固化多维分析实时固化固化多维分析技术选型：用户需求技术选型：用户需求ROLAP 技术选型（技术选型（2018年初）年初）技术选型：技术选型：Why Doris For User 灵活多维分析 明细聚合统一 主键更新 兼容 MySQL 协议和语法 Online Schema Change功能强大功能强大易用性好易用性好技术选型：技术选型：Why Doris For Admin大纲大纲Doris 技术选型Doris 典型应用Doris 关键特性Doris 功能改造变化维的多表变化维的多表 Join:Before数据严重冗余；每天重刷几百天历史数据；开发效率低数据严重冗余；每天重刷几百天历史数据；

3、开发效率低变化维的多表变化维的多表 Join:NowDoris秒级多表秒级多表JoinDoris VS MOLAP查询性能不变查询性能不变明细明细+聚合：聚合：Before明细明细+聚合：聚合：Now典型应用典型应用:外卖准实时数仓外卖准实时数仓 实时离线统一 Doris To Doris ETL 主键去重典型应用典型应用:外卖准实时数仓外卖准实时数仓大纲大纲Doris 技术选型Doris 典型应用Doris 关键特性Doris 功能改造Doris 整体架构整体架构Doris 特性：特性：In-Memory MetadataDoris 特性：聚合数据模型特性：聚合数据模型 Key列全局有序 每

4、个Value列有关联的聚合函数(Sum,Max,Min,HLL,Bitmap,Replace)相同Key的Value进行聚合 基于Replace函数可以实现主键更新Doris 特性：聚合数据模型特性：聚合数据模型 RollUp查询自动路由查询自动路由Doris 特性：明细数据模型特性：明细数据模型 按照指定Key列排序 保留所有明细数据Doris 特性：特性：Data Partition Partition 是数据导入的最小逻辑单位 Tablet 是数据复制和均衡的最小物理单位Doris 特性：特性：Data DistributionTablet和Backend的映射关系记录在FE的元数据中D

5、oris 特性：特性：Data Auto BalanceFE 负责 Tablet 的新建，删除，复制和负载均衡Doris 特性：特性：Column StoreDoris 特性：特性：MPP-based Query ExecutorDoris 特性：特性：MPP-based Query Executor大纲大纲Doris 技术选型Doris 典型应用Doris 关键特性Doris 功能改造Doris 功能改造功能改造Exactly Once 的 Kafka To Doris查询执行多实例并发Colocate JoinBitmap 精确去重倒排索引查询执行多实例并发优化：背景查询执行多实例并发优化

6、：背景 1个BE节点1个执行实例 集群CPU，IO资源较空闲查询执行多实例并发优化查询执行多实例并发优化查询执行多实例并发优化查询执行多实例并发优化3 5 倍倍性能提升(5并发)Colocate Join：背景：背景外卖商家分析外卖商家分析7天以上的天以上的大表大表Shuffle Join查询超时查询超时Shuffle JoinColocate Join：What&Why无网络传输无网络传输Colocate Join 关键关键:数据本地性保证数据本地性保证Doris Shuf