2019年腾讯实时流计算平台演进之路.pdf

1、腾讯实时流计算平台演进之路腾讯高级工程师目目录录 Flink在腾讯实时计算概况简介 Oceanus平台简介 针对Flink的扩展与优化 Q&AFlink在在腾腾讯讯的的演演进进历历程程2017年上Flink框架预研，跟Storm进行对比2017年下Flink内部版本定制开发，Storm业务迁移，Standalone集群模式运行2018年上Flink产品化，打造一体化的实时流计算平台Oceanus,Flink on Yarn2018年下实时流计算平台规模化接入腾讯内部业务(覆盖所有BG)与外部客户并上线公有云2019年上完善场景化服务，上线在线ML，同时发力Flink批处理，打造SuperSQL

2、Flink赋赋能能腾腾讯讯实实时时计计算算Flink在在腾腾讯讯实实时时计计算算的的规规模模集群总核数34万峰值算力2.1亿/s日均消息量近20万亿目前，腾讯内部除广告的在线训练业务外，原先运行在Storm上的实时流计算业务都已逐步迁移至Flink平台，广告业务的迁移计划预期也在今年下半年完成。目目录录 Flink在腾讯实时计算概况简介 Oceanus平台简介 针对Flink的扩展与优化 Q&AOceanus平平台台整整体体技技术术架架构构Oceanus-应应用用列列表表Oceanus-画画布布详详情情Oceanus-指指标标统统计计Oceanus-在在线线机机器器学学习习Oceanus-在在

3、线线机机器器学学习习目目录录 Flink在腾讯实时计算简介 Oceanus平台简介 针对Flink的扩展与优化 Q&AFlink Web UI重重构构Flink Web UI重重构构JobManager Failover优优化化ZooKeeperZooKeeperJobManagerJobManagerTaskTaskTaskManagerTaskTaskTaskTask1.Grant LeadershipTaskTaskTaskManagerTaskTaskTaskTaskTaskTaskTaskManagerTaskTaskTaskTask3.Report Task State4.Rech

4、eck running state2.Notify Leadership Changed3.Report Task State检检查查点点重重构构-当当前前机机制制StatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerCheckpointCoordinatorJobManagerTriggerCheckpointTriggerCheckpointTriggerCheckpointTriggerCheckpointCheckpointBarr

5、ierCheckpointBarrierCheckpointBarrierCheckpointBarrier检检查查点点重重构构-当当前前机机制制StatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerCheckpointCoordinatorJobManagerTriggerCheckpointTriggerCheckpointTriggerCheckpointTriggerCheckpointCheckpointBarrierCheckp

6、ointBarrierCheckpointBarrierCheckpointBarrier检检查查点点重重构构-当当前前机机制制StatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerStatefulTaskStatefulTaskTaskManagerCheckpointCoordinatorJobManagerTriggerCheckpointTriggerCheckpointTriggerCheckpointTriggerCheckpointCheckpointBarrierCheckpointBarri