1-5 Apache Doris 在同程数科数仓建设中的实践.pdf

1、王星 同程数科 大数据高级工程师|Apache DorisApache Doris在同程数科数仓建设中的实践在同程数科数仓建设中的实践0101目录目录CONTENT|业务场景业务场景架构演变架构演变收益现状收益现状未来展望未来展望030302020404 业务场景01|业务场景-企业介绍|同程数科同程数科 同程集团旗下的旅游产业金融科技服务平台。前身为同程金服，成立于2015年11月。愿景是，以“数字科技引领旅游产业”。以科技的力量，赋能旅游产业。业务包含：产业金融服务、消费金融服务、金融科技、数字科技等板块。累计服务用户超过千万，涵盖76座城市。业务场景-业务介绍|业务场景-业务需求|基于基

2、于DorisDoris实现实现 看板类：业务实时驾驶舱；T+1业务看板 预警类：实时业务流程预警（比如：风控熔断、资金异常、流量监控）分析类：数据查询分析；临时取数；实时用户标签查询 财务类：财务清算对账；支付对账 架构演变02|架构演变-架构1.0|架构演变-架构1.0|不足不足 引入组件过多，(组件、作业)维护复杂，问题排查困难，数据修复困难 数据开发链路过长，对数仓人员技术要求高，开发效率低 聚合查询能力不足，大表join效率不高 离线与实时集群未做分离，导致资源相互竞争 有预警能力，但是作业自动恢复能力不足优点优点 使用CDH构建，在现有CDH集群下，能够快速相互集成并投入使用 实时采

3、集能够可视化配置式开发架构演变-架构2.0|架构2.0-选型Doris|选型原因选型原因 丰富的数据接入能力(支持众多数据源)采用MySQL协议通信 Doris SQL基本覆盖MySQL语法 支持MPP并行计算能力 官方文档健全，上手较快架构2.0-Doris部署架构|DorisDoris架构特点架构特点 独立于Hadoop架构之外 整体分两层：FE(前端节点)、BE(后端节点)运维简便，高可用，可扩展性强机房迁移机房迁移 doris集群，3天全部迁移完成 时间主要用在了，机器下架、搬移、上架Doris实时系统架构|产业金融消费金融风控数据日志数据Canal其它数据API接口数据平台数据源数据

4、源数据采集数据采集消消息息队队列列KafkaKafka数据仓库数据仓库DWD(明细层)DWS(汇总层)ADS(应用层)DIMCanal-Admin实时开发任务调度任务监控数据质量集群监控数据应用数据应用实时看板挖掘分析数据服务Doris新数仓特点|1 1、数据导入方式简便，针对不同场景数据采用方式如下：、数据导入方式简便，针对不同场景数据采用方式如下：1、routine load：业务数据实时接入Doris 2、broker load：离线数据定时或手工导入Doris（包含：基础维度表、历史数据等）3、insert into：定时作业，从DWD层处理出DWS层，之后处理出ADS层2 2、良好的

5、数据模型，使开发效率更高、良好的数据模型，使开发效率更高 1、unique模型：业务数据接入Doris时使用，防止重复采集 2、aggregate模型：从DWD层到DWS或ADS层使用3 3、使用门槛低，查询效率高、使用门槛低，查询效率高 1、基于MySQL协议，标准的SQL查询语法，查询分析无压力 2、使用物化视图到达预计算效果，如果查询命中，将快速响应4 4、部署架构简便，运维维护成本低、部署架构简便，运维维护成本低 1、针对FE、BE、BROKER角色，配置监控，异常重启如何更友好的使用Doris|大家在意什么大家在意什么 1、快速开发：如何能够简单快速的将数据导入Doris，并快速实现

6、ETL开发 2、调度管理：如何管理上线的任务，保证任务调度的稳定，以及调度恢复能力 3、数据查询：生产与办公网络隔离，如何让大家安全便捷的查询分析 4、集群管理：如何感知节点异常，并且能够重试自动恢复宗旨：宗旨：高效率、高质量、高稳定高效率、高质量、高稳定数据平台-Doris开发|1 1、DorisDoris数据开发，通过快速构建代码，实现数据开发，通过快速构建代码，实现routine loadroutine load、broker loadbroker load任务开发任务开发数据平台-Doris开发|2 2、r