赵荣生-网易云音乐实时场景应用及优化实践.pdf

《赵荣生-网易云音乐实时场景应用及优化实践.pdf》由会员分享，可在线阅读，更多相关《赵荣生-网易云音乐实时场景应用及优化实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、赵荣生网易云音乐实时场景应用及优化实践简介分区流表动态分发其他工作未来规划#1#2#3#4#5#1简介集群规模3000/1000集群节点数任务数流量40000/1200300PB/20GBps业务场景大盘数仓推荐算法监控ABBI稳定性监控指标不完善Kafka流量压力增大HDFS小文件问题空跑任务浪费资源遇到问题效率大量重复无用读取并行度受限topic分区数TM IO overhead高数据倾斜计算效率低易用性流批任务独立维护流批UDF独立维护参数配置复杂#2分区流表背景客户端志!#$%&()#*+,-./)0数仓按action分发JSON按action消费JSON服务端志直播志11!2#%&(

2、)#*34+350!6#2%&()#*)/7.380!9#2%&()#*10推荐告11.业务易用性差2.划分粒度粗3.计算浪费4.网络冗余5.任务稳定性差6.Kafka压力大问题Kafka Topic设计客户端志数仓按分区列写AVRO按分区消费AVRO服务端志直播志11分区流表推荐告1定义分区列及分区规则分区流表p=P1T1T2T3Tn写任务读任务1读任务2读任务Np=P2p=P3p=Pnp=P1 or p=P2p=P3p=Pn按分区规则写按分区条件读取分区列P 对应topic时间1P1T12P2T23P3T34PnTn分区规则分区条件设计例效果和离线表使用一致只需指定业务分区字段易用性提升指

3、定多级分区只读取所需数据细粒度划分解决延迟问题稳定性提升存算资源节约50%+每年节约成本百万级资源节省显著原理规则变更户分区规则管理任务管理平台提交SQL:7;57,/.:7;57?.=3/.提交任务A=:/-/.任务感知注册两阶段通知AllTasks任务监听服务规则动态感知流程1.提交SQL到任务管理平台2.平台提交Flink任务到集群3.Kafka tasks注册ZK4.任务监听服务从ZK中感知所有tasks5.用户操作变更分区规则6.任务监听服务将新规则通过两阶段方式下发给所有运行的tasks原理B=.3/端继承C+4D/.7E4/F7E4/B=.3/GC#HI-.解析分区字段注册缘及分

4、区条件监听规则变更B+95端使:/J/B/.B38/,7动态获取D=-+3动态感知规则变更B/.K/.端缘关系分区规则校验规则监听通知监控告警构建743+D/内存表做分区剪枝监听规则变更功能概览注册缘及分区条件原理KafkaConsumerConsumerThreadZooKeeperServer端PartitionDiscoveryThreadMainThreadhandoverKafkaunassignedPartitionsNextOpPartitionTableThread规则变更感知监听两阶段通知新topics列表更新newTopicsremovedTopicsremovedPart

5、itions发现&移除写缓存消费数据获取meta读取缓存发送获取追加核功能#3动态分发背景客户端志数仓实时应服务端志直播志11LB采集推荐告1M,-./).3/B+95?.=3/)C9#*O79+9=0.=737)D服务端规则变更规则感知下发规则:7;57LB采集服务埋点管理平台元信息离线写预校验获取规则设计接定义规则定义代码成效果实时/离线统一统一管理业务无感知动态变更规则预校验分级限流稳定性提升及时发现并恢复监控告警#4其他工作其他工作稳定性监控指标完善Kafka镜像一键切换HDFS小文件动态合并无用任务监测效率按需反序列化按key rebalancerescale支持倾斜任务检测易用性流批一体探索使用UDF/存储/元数据统一简化参数配置#5未来规划未来规划#1数据安全数据治理流批一体（提高开发维护效率）数据湖（优化数据链路）运维自动化问题诊断、调优、压测工具通用场景解决方案#2#3