【15-A03】龙逸尘-Flink在顺丰的应用实践.pdf

1、Fl nk 在顺丰的应用实践 ? ? ? ? ? ? ? ? 建B背景 ackground ? ? ? 建B思C Construction idea ? ? ? 落地实践 Practice ? ? ? 应用案例 Application case ? ? ? 未来A划 Future plan 客户下单小哥收件分点部陆运运输中转场陆运运输 客户收件小哥派件分点部陆运运输中转场陆运运输 航空运输 一票快件的流转 ? 传统数仓的问题 ? ? ? ? 开发效率 ? ? ? 技术架构 ? ? 平台管理 ? 建设思路 Construction ide 实时数仓建设思路 ? ? ? ? 批流统一 ? ? ?

2、? 宽表建设 ? ? ? 平台治理 ? ? ? ? ? ? ? 批流统一的实时数仓 ? 统一数仓规范 ? ? ? ? 实时数仓层级划分 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 统一元数据 ? ? ? ? ? ? ? ? ? ? 基于 S L 统一开发流程 ? ? ? ? ? ? ? ? ? 实时数仓方案 - ambda 架构 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

3、? ? ? ? ?/? ?/ ? ? ? ? ? ? ? ? ? ? ? 实时数仓方案 - appa 架构 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?/? ?/ ? ? ? ? ? ? ? ? 实时数仓方案对比与实际需求 ? ? ? ?0 ? ? ? ? ? ? ? 1? ?+ ? ? +? ? ? ? ? ? ? ?1? ?+ ? ?1? ? ?0 ? Hudi 关键特性 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?W? ? ?WM? ? ?W? ?R C?R ? 引入 Hudi 加速宽表 ? ? ? ? ? ? ? ?-? ? ? ? 构建实时数仓宽表 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 实时数仓方案 - 最终架构 ? ? ? ? ?