重磅发布：DataWorks 全链路数据治理系列新品-全链路数据治理峰会（15页）.pdf

1、重磅发布DataWorks 全链路数据治理系列新品黄博远阿里云智能计算平台事业部大数据与AI产品负责人高级产品专家例:这里是标题标题标题New Future on CloudDataWorks：阿里巴巴12年数据治理建设最佳实践201520162017200920192018进入空气稀薄地带首次突破调度5000台服务器投10年，投10个亿中国第一家拥有完整云计算能力的企业登月计划开源？自研？飞天的第一行代码阿里云技术之路的起点阿里云大数据品牌商业化20+款大数据产品MaxCompute+DataWorks普惠大数据商业化飞天云操作系统获得中国电子学会16年来颁发的唯一科技进步奖特等奖突破创新M

2、axCompute再次打破排序世界纪录DataWorks升级为一站式智能数据开发平台飞天X城市大脑2.0驱动数字中国中国唯一自研计算引擎业务领先的性能与算力DataWorks发布数据综合治理体系AI加持的飞天大数据平台2020年双11，MaxCompute日处理数据超过1.7EB，DataWorks日调度实例数超过10,000,000DataWorks是阿里巴巴集团数万名产品运营/分析师/数据开发/算法工程师的生产力工具同时广泛应用于城市大脑、数字政府、电力、金融、零售、智能制造、智慧农业等各个领域的大数据建设与生态合作伙伴一起数智升级DataWorks全新推出开放平台全面支持开源计算引擎开放

3、、生态、共赢2020DataWorks新品发布DataWorks 数据治理中心实现数据治理的现状评估-问题治理-成效评估，让企业数据治理步入“自动化”阶段数据治理规则模板事前预防事后诊断可持续数据治理内置模板开箱即用行业最佳实践沉淀自定义扩展插件企业数据治理健康度评估模型前置的问题预防卡点历史存量问题自动发现全局、个人等多维度视角问题处理建议健康度评估数据治理运营机制研发规范健康分数据质量健康分数据安全健康分计算资源健康分存储资源健康分命名规范检测注释检测运行时长检测分区检查distinct检查select*检查禁用insert into未配质量规则表检查告警未处理表检测基线任务质量规则检测指

4、定规则未配置检测脏数据检测质量规则覆盖度检测连续告警检测数据下载控制数据保护模式数据存储加密安全访问模式数据源访问控制开发生产数据源隔离成员与角色控制费用消耗检测任务参数不合理检测简单加工检测产出表未被读取检测输入为空检测数据倾斜检测暴力扫描检测空表检测无生命周期表检测长时间未访问检测表大小检测重复表检测表引用次数检测无效表检测数据治理健康度五维评估模型基于问题驱动的方式，覆盖事前、事中、事后的全链路主动式数据治理和健康度评估，实现数据的可持续治理DataWorks 数据治理健康度评估模型DataWorks 数据治理健康度评估模型DataWorks智能数据建模数据开发让模型更规范让指标更规范数

5、据指标原子/派生指标批量创建指标智能解析生成指标维度建模可视化建模逆向建模自动生成ETL代码数据标准数据标准标准代码度量单位命名词典让数据开发更规范更高效DataWorks智能数据建模提供可视化建模能力，提升建模效率；支持逆向建模，解决数仓建模冷启动难题DataWorks智能数据查询聚焦业务场景；通过自然语言查询数据，简单实用；有明细，有汇总，可视化，可交互；产品特色业务痛点数据查询门槛较较高；数据查询、数据报表等需求旺盛，且数据研发团队人员不足；基于自然语言的数据分析查询，让一线业务人员“一句话”轻松获取数据洞察数据集成全新改版新增实时同步数据源全量增量实时同步一体化DataWorks数据集

6、成实时同步能力升级向导式任务配置任务配置更简易网络连通诊断工具读数据源：PolarDB-X（DRDS）、OceanBase、PostgresSQL写数据源：MySQL、Oracle、AnalyticDB for MySQL、PolarDBfor MySQL、DataHub支持Kerberos认证支持MySQL的分库分表数据同步支持kafka大规模分布式数据同步支持15分钟级自动Merge支持动态分区自动分发数据数据作业迁云工具与服务阿里云EMR数据开发调度Azkaban作业搬站上云DataWorksDataWorks地域1地域2跨环境、跨账号、跨地域、跨云作业迁移、克隆部署大数据迁云专家服务架