阿里云开发者社区:全链路数据治理-主动数据治理(59页).pdf

编号:117245 PDF  DOCX 59页 18.25MB 下载积分:VIP专享
下载报告请您先登录!

阿里云开发者社区:全链路数据治理-主动数据治理(59页).pdf

1、封面页(此页面将由下图全覆盖,此为编辑稿中的示意,将在终稿 PDF 版中做更新)卷首语 云原生一体化数仓是阿里云整合自研大数据产品 MaxCompute、DataWorks、Hologres 和实时计算 Flink 版推出的一站式大数据处理平台,具备流批一体、实时离线一体、湖仓一体、全链路数据治理四大核心能力,可以满足企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理的需求,基于精简的架构,支撑全域数据分析需求和决策。全链路数据治理包含智能数据建模、全域数据集成、高效数据开发、主动数据治理、全面数据安全、快速分析服务六大产品能力,覆盖数据的全生命周期。本篇从数据生产规范性治理、数

2、据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等 7 个方面为大家揭秘数据治理平台建设实践。后续系列电子书更新请关注 DataWorks 官网或阿里云开发者社区。l 全域数据集成电子书(已完成)l 智能数据建模电子书(已完成)l 主动数据治理电子书(已完成)l 全面数据安全电子书-2023 年 l 云原生一体化数仓新能力电子书(已完成)DataWorks 官网:https:/ 目录 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践.5 一、数据繁荣的红利与挑战.5 二、阿里巴巴数据治理平台建设实践.11 1.数据生

3、产规范性治理.11 2.数据生产稳定性治理.17 3.数据生产质量治理.22 4.数据应用提效治理.29 5.数据安全管控治理.34 6.数据成本治理.40 7.数据治理组织架构及文化建设.53 三、总结.57 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 5 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 作者:阿里云 DataWorks 团队 阿里巴巴一直将数据作为自己的核心资产与能力之一,通过多年的实践探索建设数据应用,支撑业务发展。在不断升级和重构的过程中,我们经历了从分散的数据分析到平台化能力整合,再到全局数据智能化的时代。如今,大数据平台面临全新的

4、挑战,特别是降本等数据治理需求的不断出现,今天阿里云 DataWorks 团队将其中一些建设经验与大家进行一些分享。一、数据繁荣的红利与挑战 大数据平台的建设,到底可以为企业带来什么样的价值?对于技术同学来说,往往会用一些技术指标来衡量,例如数据量,机器数量,任务数量等等。根据我们往年已经对外公开的数据,我们可以看到大数据计算引擎MaxCompute的单日数据处理量在不断增长,在2021年双11的时候,MaxCompute单日数据处理量已经达到了 2.79EB。有趣的是,双 11 不仅仅意味着当年的波峰,同时也是来年的起点,成为了 2022 年日常每天的数据处理量,去年的峰值成为了来年的日常。

5、在大数据开发治理平台 DataWorks 上,单日任务调度实例数也超过了1000 万,其中也包含着业务之间 50 多种各类复杂的数据处理关系,保障数据正常、有序产出,如果将整个阿里巴巴集团的数据任务依赖全部展开,将会是一副非常广阔的数据画卷。规模当然可以一定程度上反馈我们为业务带来的支持,特别像双 11 这种世界级的场景,对很多技术都是全新的挑战。但是从大数据平台到创造价值之间,还有一个很重要的环节是“人”,是大数据平台的用户。对于 DataWorks 来说,作为大数据平台最贴近用户的工具层,可以看到 DataWorks集团内的用户数正在以每年 5 位数的量级不断快速增长,当前每月在 Data

6、Works 上 2 万字揭秘阿里巴巴数据治理平台 DataWorks 建设实践 6 进行各类数据操作的活跃用户数超过 5 万人,除了数据工程师、算法、开发等技术人员在上面进行数据同步、开发、治理等工作,同时也服务运营小二、分析师、财务、HR 等各类业务人员,进行个性化的找数、取数、用数等分析工作。所以,大数据平台不仅仅应该停留在数据团队,我们要有更多的用户进来,更多地走向业务团队,提升数据使用的效率,让平台、用户、业务达成正向循环,推动企业数据价值不断释放。从最早的淘宝、天猫等电商业务,到后续的优酷、高德、菜鸟等板块,DataWorks与 MaxCompute 等产品用一套技术体系来支持不同业

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(阿里云开发者社区:全链路数据治理-主动数据治理(59页).pdf)为本站 (好好学习) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
折叠