4-4 大数据开发 Studio：DolphinScheduler + Notebook.pdf

1、大数据开发Studio:DS+Notebook高楚枫 阿里云 EMR团队-开发工程师Active Contributor of Apache DolphinSchedulerEricGao888GitHub|01020405目录CONTENT|大数据开发中的痛点0306DS+Zeppelin DS+JupyterStudio的监控Studio的云上部署方案DS社区参与体验|01大数据开发中的痛点开发环境与线上环境不一致复杂零碎的作业配置开发效率低代码迭代速度慢线上调度时出现难以预测问题|大数据开发中的痛点|解决方案大数据开发Studio 开源 轻量化 松耦合 易维护DS任务插件 连接DS和No

2、tebook的桥梁DS任务插件|02DS+Zeppelin Zeppelin简介 DS Zeppelin Task Plugin|DS+Zeppelin|Notebook-Apache Zeppelin 交互式的开发体验（交互式开发、线上debug）Zeppelin架构丰富的引擎支持（包括Apache Flink）DS Zeppelin Task Plugin介绍（配置、整合、dynamic form）DS+Zeppelin|交互式开发体验DS+Zeppelin|Zeppelin架构DS+Zeppelin|丰富的引擎支持SparkJDBC(PostgreSQL,MySQL,MariaDB,Re

3、dshiftm Hive,)FlinkPythonShellHDFSHbaseZeppelin Interpreter很容易扩展DS+Zeppelin|DS Zeppelin任务插件|03DS+Jupyter Jupyter简介 DS Jupyter Task Plugin|DS+Jupyter|Notebook-Jupyter 交互式的开发体验（同Apache Zeppelin）丰富的生态和庞大的用户群体 DS Jupyter Task Plugin介绍-实现方法（papermill）、配置、parameterization、分布式环境中依赖管理DS+Jupyter|Jupyter&Pape

4、rmillDS+Jupyter|DS Jupyter任务插件DS+Jupyter|分布式环境下的python依赖管理DS Jupyter插件供用户多种选择：方法1:手动/shell task安装conda环境，编辑作业时切换 方法2:资源中心 预先打包环境上传至资源中心，编辑作业时切换 方法3:资源中心 预先上传requirements.txt至资源中心，编辑作业时切换，临时构建DS+Jupyter|可视化的python依赖管理|04Studio的监控 Studio相关Metrics 对接Prometheus&Grafana|Studio的监控|DS相关metricsNotebook Rela

5、ted TasksNotebook Related WorkflowsResource Management(Python Dependencies)ds.task.timeout.countds.task.finish.countds.task.success.countds.task.failure.countds.task.runningds.workflow.instance.runningds.workflow.instance.finish.countds.workflow.instance.success.countds.workflow.instance.failure.cou

6、ntds.worker.resource.download.countds.worker.resource.download.durationds.worker.resource.download.sizeMaster Server,Worker Server,Alert ServerStudio的监控|05Studio的云上部署方案 云上部署方案推荐|Studio的云上部署方案|Studio的云上部署方案的云上部署方案 登陆/认证 LDAP+KNOX SSO 多集群切换 D