2019年从JStorm到Flink-腾讯实时流计算平台的建设与实践.pdf

1、2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会从JStorm到Flink：腾讯实时流计算平台的建设与实践2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会目录01腾讯实时计算概况腾讯实时计算概况02OceanusOceanus平台介绍平台介绍03开源特性增强开源特性增强04流计算业务实践流计算业务实践2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会实时计算业务赋能2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会腾讯实时计算规模2.1亿/秒峰值消息处理20万亿日均消息总条数3PB日均消息总大小2019中中 国国 数数 据据

2、智智 能能 管管 理理 峰峰 会会JStorm到Flink的演进历程新框架调研，评估Flink替代JStorm的可行性，包括：功能、性能等的对比。此时所有的流计算任务全部由JStorm承载，且继续演进新版本。FlinkFlink框架预研，框架预研，JStormJStorm上上K8SK8S2017.03针对内部场景，部分改造优化开源版本，开始迁移部分JStorm上的任务，以standalone模式运行FlinkFlink开源版本增强，业务迁移开源版本增强，业务迁移2017.09开始建设基于Flink的一站式流计算平台Oceanus，并针对性优化社区Flink On Yarn模式的部分功能。Fli

3、nkFlink产品化产品化2018.01实时流计算平台规模化接入腾讯内部业务(覆盖所有BG)、TBDS客户，上线公有云。开始批量迁移存量JStorm的任务到Oceanus。内部宣布JStorm版本不再演进。OceanusOceanus平台上线平台上线2018.09打造内部Oceanus生态，完善场景化服务，上线在线ML，开始建设秒级监控等平台。OceanusOceanus场景化建设场景化建设2019.032019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会目录01腾讯实时计算概况腾讯实时计算概况02OceanusOceanus平台介绍平台介绍03开源特性增强开源特性增强04流计算

4、业务实践流计算业务实践2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus实时计算平台2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会平台建设重点一站式提供完善的上下游数据生态，形成从接入、处理，到应用的数据闭环。提供完善的上下游数据生态，形成从接入、处理，到应用的数据闭环。自助化借助平台的应用调试、丰富的实时指标数据、配置化告警等功能，实借助平台的应用调试、丰富的实时指标数据、配置化告警等功能，实现监控、运维自助化。现监控、运维自助化。可视化不仅通过平台不仅通过平台WebWeb页面可轻松查看指标、打点日志等数据，同时对调页面可轻松查看指标、打点日

5、志等数据，同时对调试结果，应用输出等，都提供了可视化的方式。试结果，应用输出等，都提供了可视化的方式。持续增强结合业务实践，持续优化既有能力，并且迭代新功能；在满足自身客结合业务实践，持续优化既有能力，并且迭代新功能；在满足自身客户需求的同时，适时回馈社区。户需求的同时，适时回馈社区。2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-提交计算任务配置元数据创建DAG编译提交2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-在线调试2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-指标统计2019中中

6、 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-并行度调整2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-自助诊断2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会Oceanus-告警配置2019中中 国国 数数 据据 智智 能能 管管 理理 峰峰 会会目录01腾讯实时计算概况腾讯实时计算概况02OceanusOceanus平台介绍平台介绍03开源特性增强开源特性增强04流计算业务实践流计算业务实践2019中中 国国 数数 据据 智智 能能 管