毛言粲-Trisk：以Task为中心的流处理动态配置的控制平台.pdf

1、毛言粲/新加坡国立大学SANE-LabTrisk：以Task为中心的流处理动态配置的控制平台背景：流作业动态调控挑战：兼顾普适、高效和易用设计：以Task为中心的系统设计实现：基于Flink的Barrier机制评估：Trisk与已有系统的性能对比#1#2#3#4#5#1背景：流作业动态调控流处理的大规模运用机器学习数据分析实时交易流式数据流作业（Stream Job）流处理的大规模运用 长期执行 性能需求机器学习数据分析实时交易流式数据流作业（Stream Job）数据抖动流处理的大规模运用动态重配置（reconfiguration）长期执行 数据抖动 性能需求机器学习数据分析实时交易流式数据

2、流作业（Stream Job）流数据的抖动抖动：输入速率数据倾斜*新兴事件输入流*当前执行逻辑无法正确处理的数据。例如：新型诈骗交易不同类型的重配置技术重配置：输入流ScalingLoad BalancingChange of Logic如何动态的检测数据抖动并使用合适的重配置方法来调控流任务？控制器 流作业的动态调控控制器（Controller）1.监听：监听流作业的运行状态 metrics（例：延迟,CPU util，吞吐量，积压等）2.诊断：采用不同的控制策略（control policies）诊断症状（symptoms）3.重配置：使用不同类型的重配置（reconfigurations

3、）方法动态优化流作业ControllerControl policyMetricsReconfigurations控制平面：控制器管理平台控制平面提供了一个动态管理流作业的平台隐藏系统底层处理逻辑简化控制器的设计和开发ControllerControl policyAPIsControl Plane 控制平面MetricsReconfigurations#2挑战：兼顾普适、高效和易用挑战不同类型的控制策略需要使用不同类型的重配置方法普适性重配置的执行应短时间内完成并尽量不阻塞数据处理高效性API简单易用，用户调用时无须知道系统底层逻辑易用性Flink的原生支持提供了CLI来对流作业进行控制，通

4、过对流作业进行重新部署来动态的重配置流作业 优点：普适性 和 易用性(source code update and resubmit)缺点：重新部署开销大耗时长（resource reallocation,state recovery）ControllerControl policyCLIJob ManagerKill and restartFlink的原生支持SavepointJob ManagerFlink的原生支持Job ManagerSnapshotsFlink的原生支持Job ManagerKillFlink的原生支持Job ManagerRestart#3Trisk：以task为中

5、心的流作业控制平面系统结构概览Control PoliciesReconfiguration APIsPrimitive Operation APIsExecution LogicTriskWorkloadsResourcesPrepare-sync-updateTrisk 抽象+原子操作Prepare-sync-update执行流程常用重配置 APIs+原子操作 APIs普适性高效性易用性Trisk工作流程TriskControl PoliciesCompile工作流程User Code工作流程TriskControl Policies1.AbstractionTriskControl Po

6、licies1.Abstraction2.Update Trisk Abstraction工作流程TriskControl Policies1.Abstraction3.Abstraction2.Update Trisk Abstraction工作流程TriskAbstractionPrepare-sync-updatePhysical Execution Graph工作流程PreparePhysical Execution GraphAffected Tasks工作流程Prepare:基于更新后的Trisk abstraction找出被更新的affected tasks，并准备这些task的