代立冬-新一代大数据调度平台 - Apache DolphinScheduler 最新进展 & Roadmap（GOTC深圳会场）（31页）.pdf

1、综合技术专场代立冬 2021年08月01日新一代大数据调度平台 Apache DolphinScheduler 最新进展&RoadmapDolphinScheduler 介绍Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度系统。2021 年 04 月 09 日正式成为 Apache 顶级项目。首个由国人主导并贡献到 Apache 基金会的大数据工作流领域顶级项目。已累计有 400+公司在生产上使用。DolphinScheduler 致力于在数据工作流编排中“解决复杂的大数据任务依赖及触发关系，让各种大数据任务类型开箱即用”。DolphinSch

2、eduler 部分用户(不分先后)社区建设情况代码贡献者文档贡献者研发 DolphinScheduler 的背景DolphinScheduler 优势高可靠性丰富的使用场景高扩展性、云原生能力l去中心化的多 Master 和多 Worker,自身高可用能力l采用任务队列来避免过载，不会造成机器卡死l一键部署 简化部署，易维护l可视化 DAG 界面，所有流程定义都是可视化，通过拖拽任务形成工作流模板l支持 Open API 方式与第三方系统对接l支持暂停恢复操作l支持多租户，权限管理等大数据应用场景l支持近 20 种任务类型，如 Spark,Hive,MR,Python,Sub-Process,

3、Shell 等l支持自定义任务类型l调度器使用分布式调度，调度能力随集群线性增长l弹性伸缩，Master 和 Worker 支持动态上下线简单易用DolphinScheduler 能力 支持每日百万量级任务稳定运行 弹性伸缩 工作流可定时、依赖、手动、暂停/停止/恢复 Task 以 DAG 形式连接，实时监控任务的状态 去中心化设计确保系统的稳定、高可用 支持 Shell、MR、Spark、SQL、依赖等 10 多种任务类型 支持多租户、补数、日志在线查看及资源在线管理 完善的系统服务监控，任务超时告警/失败 工作流优先级、任务优先级，全局参数及局部自定义参数DolphinScheduler

4、可视化流程任务多粒度监控任务执行状态回溯数据加工平台任务监控总览流程实例状态查看任务执行日志查看任务执行日志查看，方便运维实时了解任务运行状况，快速定位问题云原生 弹性伸缩 充分利用服务器资源 环境隔离 DolphinScheduler 1.3 架构 DolphinScheduler 2.0 架构 Roadmap高性能-Master 重构减少数据库轮询去分布式锁减少线程使用DolphinScheduler 2.0 架构规划与 Roadmap1.3 版本现状-分布式锁DolphinScheduler 2.0 架构 Roadmap2.0 优化 去分布式锁DolphinScheduler 2.0 架

5、构 Roadmap重构 Master 中的线程模型1.3 Master 现状 使用一个主线程池执行所有 DAG 工作流 主线程池执行过程中为每个工作流创建一 个 任务线程池 Master 能并发处理的工作流为 m,并发处理的任务为 n，会产生m*n 个线程DolphinScheduler 2.0 架构 Roadmap重构 Master 中的线程模型其他重要变化新增 API 与 Master、Master 和 Master 之间直接通信功能,负责同步任务及工作流状态的变化MasterSchedulerServiceThreadPoolWorkFlowExecuteThreadAPIStateEv

6、entExecuteServiceThreadPoolStateWheelExecuteService负责从 Command 表中分片获取 command,构造工作流实例，启动 WorkFlowExecuteThread 处理负责构建 DAG,DAG 拆分，生成任务实例，提交到任务队列；同时负责处理任务状态和工作流状态变化负责接收其他 Master/Worker 发过来的任务状态和工作流状态变化事件，并提交 WorkFlowExecuteThread 状态处理负责任务/工作流超时监控DolphinScheduler 2.0 架构 Roadmap 告警 S