《阿里云开发者社区：全链路数据治理-主动数据治理（59页）.pdf》由会员分享，可在线阅读，更多相关《阿里云开发者社区：全链路数据治理-主动数据治理（59页）.pdf（59页珍藏版）》请在三个皮匠报告上搜索。

1、封面页（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）卷首语 云原生一体化数仓是阿里云整合自研大数据产品 MaxCompute、DataWorks、Hologres 和实时计算 Flink 版推出的一站式大数据处理平台，具备流批一体、实时离线一体、湖仓一体、全链路数据治理四大核心能力，可以满足企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理的需求，基于精简的架构，支撑全域数据分析需求和决策。全链路数据治理包含智能数据建模、全域数据集成、高效数据开发、主动数据治理、全面数据安全、快速分析服务六大产品能力，覆盖数据的全生命周期。本篇从数据生产规范性治理、数

2、据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等 7 个方面为大家揭秘数据治理平台建设实践。后续系列电子书更新请关注 DataWorks 官网或阿里云开发者社区。l 全域数据集成电子书（已完成）l 智能数据建模电子书（已完成）l 主动数据治理电子书（已完成）l 全面数据安全电子书-2023 年 l 云原生一体化数仓新能力电子书（已完成）DataWorks 官网：https:/ 目录 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践.5 一、数据繁荣的红利与挑战.5 二、阿里巴巴数据治理平台建设实践.11 1.数据生

3、产规范性治理.11 2.数据生产稳定性治理.17 3.数据生产质量治理.22 4.数据应用提效治理.29 5.数据安全管控治理.34 6.数据成本治理.40 7.数据治理组织架构及文化建设.53 三、总结.57 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 5 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 作者：阿里云 DataWorks 团队 阿里巴巴一直将数据作为自己的核心资产与能力之一，通过多年的实践探索建设数据应用，支撑业务发展。在不断升级和重构的过程中，我们经历了从分散的数据分析到平台化能力整合，再到全局数据智能化的时代。如今，大数据平台面临全新的

4、挑战，特别是降本等数据治理需求的不断出现，今天阿里云 DataWorks 团队将其中一些建设经验与大家进行一些分享。一、数据繁荣的红利与挑战 大数据平台的建设，到底可以为企业带来什么样的价值？对于技术同学来说，往往会用一些技术指标来衡量，例如数据量，机器数量，任务数量等等。根据我们往年已经对外公开的数据，我们可以看到大数据计算引擎MaxCompute的单日数据处理量在不断增长，在2021年双11的时候，MaxCompute单日数据处理量已经达到了 2.79EB。有趣的是，双 11 不仅仅意味着当年的波峰，同时也是来年的起点，成为了 2022 年日常每天的数据处理量，去年的峰值成为了来年的日常。

5、在大数据开发治理平台 DataWorks 上，单日任务调度实例数也超过了1000 万，其中也包含着业务之间 50 多种各类复杂的数据处理关系，保障数据正常、有序产出，如果将整个阿里巴巴集团的数据任务依赖全部展开，将会是一副非常广阔的数据画卷。规模当然可以一定程度上反馈我们为业务带来的支持，特别像双 11 这种世界级的场景，对很多技术都是全新的挑战。但是从大数据平台到创造价值之间，还有一个很重要的环节是“人”，是大数据平台的用户。对于 DataWorks 来说，作为大数据平台最贴近用户的工具层，可以看到 DataWorks集团内的用户数正在以每年 5 位数的量级不断快速增长，当前每月在 Data

6、Works 上 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 6 进行各类数据操作的活跃用户数超过 5 万人，除了数据工程师、算法、开发等技术人员在上面进行数据同步、开发、治理等工作，同时也服务运营小二、分析师、财务、HR 等各类业务人员，进行个性化的找数、取数、用数等分析工作。所以，大数据平台不仅仅应该停留在数据团队，我们要有更多的用户进来，更多地走向业务团队，提升数据使用的效率，让平台、用户、业务达成正向循环，推动企业数据价值不断释放。从最早的淘宝、天猫等电商业务，到后续的优酷、高德、菜鸟等板块，DataWorks与 MaxCompute 等产品用一套技术体系来支持不同业