11-4网易实时数仓实践与展望.pdf

1、网易实时数仓实践与展望 网易数据科学中心马 进 自我介绍 -马进，2013年加入网易，先后负 责分布式数据库DDB，网易数据 运河NDC，RDS，流计算等项目， 目前专注于实时数仓项目建设 实践 - 架构与产品实践 - 数据中台融合 展望 - 计算存储流批一体 - 数仓实时性分级 PART 1. 实时计算平台实践 网易实时计算平台 sloth 平台架构 sloth 平台架构实时数仓架构 datastream NDC flink kudu Sloth：一站式实时计算开发IDE Sloth：一站式实时计算开发IDE Sloth：一站式实时计算开发IDE Sloth：一站式实时任务运维 Sloth：

2、一站式实时任务运维 Sloth：一站式实时任务运维 Sloth：统一元数据中心 catalog database table since flink1.10 Sloth：统一元数据中心 instance_name database table since flink1.10 catalog Sloth：统一元数据中心 catalog database table since flink1.10 sourcesink default_catalog user_defined_database user_defined_table instance_name database / default

3、table Sloth：统一元数据中心 instance_name database table since flink1.10 catalog 其他工作 working on 混合部署 flink on k8s auto scale 智能诊断 上游整合 PART 2. 实时数仓规划与展望 案例：热词统计 wordcount flink8888 spark6666 hello5678 world1234 warehouse999 + topn 案例：热词统计 batch mode file file file file file hdfs file file file file file map map map reduce reduce reduce topn batch shufflebatch shuffle local disklocal disk sequential IO se