Hive 数仓数据迁移Apache Doris 离线实时一体数仓搭建 -杨志宇.pdf

1、基于 Apache Doris数仓实时离线一体化探索杨志宇 大数据开发工程师Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目录背景介绍01架构演进02最佳实践03未来规划04Doris Summit Asia 2024Doris Summit Asi

2、a 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024背景介绍Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Dori

3、s Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024数仓职能的基本介绍01 数据集成：把多个数据源的数据整合到一起，形成统一的数据存储链路。02 数据存储：存储大量的数据，对于一些业务大表日志同步到数仓进行备份，定时删除业务库历史日志数据，减少业务库负载。03 数据查询：项目内部大表大范围在数仓上进行查询，分担业务数据库压力。04 数据处理：对数据进行清洗转化聚合处理，将数据转化为统一的格式，提高数据利用效率。05 数据分析：根据需求进行业务分析，为业务决策提供数据支持.Doris Summit Asia 2024Dori

4、s Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024历史架构组件太多，架构复杂，运维困难对于开发者技能要求高，研发成本高查询效率低，存储成本高痛点+Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit A

5、sia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024架构升级的核心诉求 组件减少：降低架构复杂度，降低运维成本 统一查询：降低学习和开发成本 效率提升：查询支持秒级别返回 节约存储：历史数据能够存储在 oss，降低存储成本Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Sum

6、mit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202402 架构演进Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asi