2、穆纯进-联通实时计算平台演进与实践.pdf

1、穆纯进联通数科-数据智能事业部-大数据技术专家联通实时计算平台演进与实践联通实时计算平台演进与实践实时计算平台背景#1实时计算平台演进与实践#2基于 Flink 的集群治理#3未来规划#4#1实时计算平台背景30+数据来源分布在多域数据源多数据源多日均1.5万亿日近600TB+增量数据量大数据量大全国31省分多个子公司支撑用户多支撑用户多26个标准化场景5000+场景订阅支撑场景多支撑场景多平台背景用户用户行为行为用户用户使用使用用户用户触网触网14大标准场景6大标准场景10大标准场景多场景订阅数据延迟小于5分钟数据完整性至少一次数据准确性95%平台要求手机号码发生时间LAC CILAC CI

2、IMEIIMEIIMSIIMSI电子围栏选择省分选择进入驻留触发条件用户特征数据输出实时场景订阅#2实时计算平台演进与实践平台演进2019201920202020三方平台Kafka+Spark streaming自研平台Kafka+Flink每个订阅对应多个topicTopic和分区过多创建topic和分区是延迟高kafka负载过高每个订阅对应多个实时流资源消耗呈线形流任务过多资源负载过高资源消耗大过多依赖外部系统外部系统负载高不能灵活定制个性化功能三方黑盒平台支撑体量小支撑场景订阅数有限逢年过节紧急救火无法满足日益增长的需求监控粒度不够无法灵活定制监控无法端到端监控人肉排查多既往平台问题根据

3、每个场景的特点进行最优化的定制最大化节约资源提升效率场景深度定制最大化利用Flink状态减少外部依赖减低程序复杂性减少外部依赖资源降本通过灵活定制实现资源优化端到端监控增加细粒度监控数据积压延迟监控数据断传监控全面基于Flink研发自主可控灵活定制全面自研基于 Flink 的新架构550+独享集群1.5万亿日处理600TB+日处理集群部署模式：On Yarn实时集群：独享，稳定性要求高，无离线作业Flink 集群处理规模压缩消息相同基站的消息进入相同的任务实例按基站固定时长固定消息数压缩消息围栏匹配外部系统压力基于基站规模外部系统压力与消息条数无关Flink State人群进入、驻留围栏存入状

4、态RocksDBStateBackend减少外部依赖亿级标签关联不依赖外部系统自定义hash算法基于 Flink 的场景深度定制自定义 Hash 算法亿级标签关联1.某个手机号A按照hash算法被分配到index为0的task_0的实例中2.通过离线计算将标签文件中的手机号按照hash算法分配到编号为0的文件0_tag中3.task_0实例的open方法中获取自己的index编号，即index=0，然后拼接出标签文件名0.tag，并将文件加载到自己的内存中4.task_0实例在接收到某个手机号的数据后就可以在内存中获取此手机号的标签数据了场景订阅端到端时延监控设计时间记录事件时间打标进出kaf

5、ka时间打标算子延迟监控根据打标时间与当前时间计算延迟积压断传监控采集kafka offset前后对比计算积压断传数据延迟监控根据事件时间与当前时间计算数据延迟端到端延迟监控、反压监控通过监控关键算子的InputChannel使用率来发现反压现象5000+Topic数据下发、断传、积压监控Flink作业监控、告警接入联通统一监控告警天眼平台作业运行状态、Checkpoint异常和耗时算子时延、反压、流量、条数TaskManager CPU、内存使用率、JVM GCFlink日常监控#3基于 Flink 的集群治理平台10000+总规模900+节点单集群最大40+集群个数100PB+单副本60万

6、+作业数1.5亿+文件数单集群最高集群治理背景读取同样的数据量扫描更多的文件导致更多的RPC小文件多扫描更多的文件导致更多的RPC空文件多NameNode压力大影响存储系统稳定文件数多平均文件小平均文件小宏观体现出小文件多文件持续增长生产上持续产生文件作业需要优化资源不够用扩容成本大只在短时间内有用资源负载高作业执行耗时长影响产品交付作业耗时长缺少清理机制浪费存储资源冷数据多作业耗资源大占用核数多占用内存大作业数据倾斜作业存在数据倾斜执行时间长集群面临的挑战基于 Flink 的集群治理架构多集群资源队列、IO、me