2017年网易流计算服务化平台架构实践.pdf

《2017年网易流计算服务化平台架构实践.pdf》由会员分享，可在线阅读，更多相关《2017年网易流计算服务化平台架构实践.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、Sloth:?2010?Aliyun StreamCompute(galaxy)?网易杭州研究院 大数据技术负责人&首席架构师?个人a绍01数据平台数据W务架构?网易新闻网易云音乐网易考拉网易云课堂PP网易有数/网易猛犸数据存k计算服务日志DaIabaHe直接导mpcb库PP网易大数据g系?IDE?统一资源管理与调度 Yarn?Hive?Sloth?Spark?HDFS?Kudu?HBase?/?Sqoop?/?NDC?DataStream?RDBMS?JSON?大数据应用开发层数据加工数据计算资源管理数据集成数据存k数据源?Azkaban?Ranger?DQC?Kerberos?Amber自

2、研系统与开源组e的结合O/ADIh流计算服务化平台 O通过增量计算的方式S来完成流计算f务 Oi用/QLhY开发方式S完n与离线/QLq容S支持LiCdDL/jDiC/HJbFJeGy/haviCg/GeIGacIiCg等复杂/QL功能流计算服务统一l数据服务流计算服务一站式数据安n与权限O一站式的数据平台S数据地图 O基于aBbaGi开发的一站式的统一部署S监控S运维g系一站式OHive HpaGk iBpaAa hbaHel数据打通 O数bg系rS用户无需在U同的系统一间jl数据同步 OU同组e组e前S数据n增量同步统一l数据服务OHD&/Hive/IBpaAa/paGk等组e自动 权限同

3、步 O支持到列级y的权限控制S支持数据自动加密S即i被拖库SU用担心敏感数据泄露数据安n与权限02流计算服务化平台Sloth?/ADIh 特点1D&HaviCg子句 多表JDiC/JbFJeGy/QL开发 与离线/QLq容执行引擎 扩展&AiCk增量计算模型2hDAe /Iage CDdeGeC与离线统一平台DDL/QL级联 DiB表o联/ADIh 增量计算-stage1?INSERT INTO tmpSELECT seller_id,sum(payment)as total FROM source GROUP BY seller_id;-stage2:?SELECT count(seller

4、_id)as num,total/100 as range FROM tmp GROUP BY(total/100);考拉要对所有商家按销售额jv类统计S销售额在0 100区间r的归Y一类S100 200区间的的归Y一类Sd此类推S通过计算输t每个区间r的商家个数。这个f务可d用/QL定义YT/ADIh 增量计算输m数据离线计算流式计算增量计算/ADIh 增量计算输m数据离线计算流式计算增量计算/ADIh 增量计算输m数据离线计算流式计算增量计算/ADIh 增量计算输m数据离线计算流式计算增量计算/ADIhPyhHicaAPAaC2hDAe/Iage CDdegeC2hDAe/Iage CDd

5、egeC2hDAe/Iage CDdegeC2hDAe/Iage CDdegeC1D&与Hive完nq容1DA&增量1DA&自定义u数注s流计算开发平台/ADIh与开源的结合?FlinkSQL?FlinkSQL?Sloth?StreamingSQL?Codegen?runtime?SQL?flink/spark/beam?feature?bug?flink&calcite?Sloth?03?网易大数据平台未来规w0eCHDCGfADL DC YaGC得益开源 回馈开源/ADIh开源d/paGkY基础,LAPg系新硬eQGP1S&PGA）加速计算实时算法平台BaIch&,LAP&/IGaBiCg 统一计算平台&AiCkY基础的 实时计算g系