【15-B04】潘澄-基于 Flink 的滴滴实时数仓实践.pdf

1、基于 Fl nk 的滴滴实时数仓实践 ? ? 业务&践 ? ? ? 整体概况 ? ? ? 平台&引擎 ? ? ? 总结反思 ? ? ? 未来规划 ? ? ? 整体概况? ? ? 建设历程 ? ? ? ? ? ? ? ? ? 需求驱动 分散建设 统一规划 规范建设 业务实践 经验沉淀实时数仓 平台引擎 现状 ? )标作业 ? 资源(量(Vcores) 业务实践? 数仓分层 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 延迟消费 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 利用OLAP特性 ?

2、 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 数据校验 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 体系架构 数据体系 建设规范 一站式开发平台 计算引擎 ? 数据源 ODS DWD DWM APP 数/链路 ? ? ? ? ? ? ? ? ? ? ? ? ? 多流join 开窗汇总 清洗去重 ODS层 DWD层DWM/DM层 ? ? ? ? ? ? ? ? APP层 ? ? ? ? ? 业务展现活动观察风险监控数据特征 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 数据应用 数据应用 引擎&平台? 13架构 DC1 ? ? DC2DC3 ? ? ? ?

3、? ? ? ? 平台引2 逻辑集群统一 二级资源A离 多物理集群 定制YARN调度器 Flink引擎优化 ? 一站式开发平台 ? ? ? ? 一站式开发平台 ? ? ? 总结反思? 为什么要做 技术升级规范建设 规范建设 业务诉求实时数仓 ? ? ? ? ? ? 技术升级 ? ? ? 业务诉求 为什么这样做 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 重要事项 ? ? ? ? ? ? ? ? ? 离线&实时数据&对 ? ? ? ? ? ? ? ? ? 数据沉淀 ? ? ? ? ? ? ? ? ? 质量保障 指标 视角 上游 频繁变化快速更新 经常切换 需求 不确定 快速发展的业务？ 未来展望? 统一建设 规范落地 血缘&元数& 批流一体 ? ? ? ? ? ? ? ? ? ? 未来展望 ? ? ?