【DataFunSummit2023】现代数据栈技术峰会-阿里云DataOps数据运营中心实).pdf

1、DataFunSummitDataFunSummit#20232023阿里云DataOps数据运营中心实践演讲人-李成强(愚篱)-阿里云数据运营中心简介为企业提供一站式的数据研发与运营能力数据运营中心框架以云平台为底座，运用工具提供六大技术能力，数据建设和数据运营双轮驱动，促进客户建好数、用好数数据运营中心实践5年持续规划建设，逐步完善目录 CONTENT请输入您的演讲内容01.数据运营中心简介产生背景 业务定义201620172018201920202021DataWorks每年新增内部用户数23000名覆盖运营/财务/分析师/开发/算法等岗位年新增内部用户数2015201620172018

2、201920202021MaxCompute单日处理数据量（PB）2.79EB双11峰值及来年日常均值单日处理数据量2015201620172018201920202021DataWorks单日调度任务实例数（万）1181万50多种复杂业务依赖关系单日调度实例数大数据平台建设带来的“数据繁荣”平台、用户、业务的正向循环，推动企业数据价值不断释放010102020303040405050606标准规范的数据资产标准规范的数据资产如何建好企业数据资产，形成高质量企业核心数据资产安全可控的数据流通安全可控的数据流通如何管好企业数据资产，让企业数据资产充分流通和使用敏捷高效的工具支撑敏捷高效的工具支撑

3、如何用好云计算与大数据技术组件，敏捷高效支撑数据需求数据质量保障体系缺失数据质量保障体系缺失数据质量问题频发，造成数据消费者的信任危机数据安全体系不完善数据安全体系不完善数据管理团队往往从严管控，造成数据流通不够顺畅数据管理角色不健全数据管理角色不健全缺少懂业务、懂技术的团队支撑，造成数据资产迭代更新慢数据资源到数据资产化的挑战数据繁荣到数据“活起来、动起来、用起来”所面临的挑战数据运营中心，为企业提供一站式的数据研发与运营能力敏捷化客户第一增量交付更低门槛精益化减少浪费价值驱动持续优化工具化标准流程标准动作工具支撑融合化研发与治理业务与技术管理与应用智能化数据驱动算法辅助自主分析面向企业数据

4、研发管理部门，以DataOps为理念，以Dataphin/DataPro工具平台为支撑，提供一站式技术服务，构建企业级数据资产建设与运营能力，激活数据资产的流通和使用，促进企业数据价值化。请输入您的演讲内容02.数据运营中心框架总体框架 子方案&工具平台 总体评价指标数据成本治理数据资产运营数据质量治理数据安全治理数据稳定性治理数据应用建设大数据平台建设数据中台建设云产品Dataphin智能数据建设与治理平台DataPro数据资产运营平台数据引入数据开发数据标准/质量/安全基础数据运维数据生产经营数据资产运营Maxcompute DataWorksADBHologresQuickBIDatah

5、ubFlink服务方案DataV 建运一体以运促建分库分表分层分域模型设计数据权限流批一体湖仓一体数据集成数据探查数据建模数据开发数据校验代码扫描变更发布链路监控应急处理资源优化调度优化代码优化资产盘点资产编目资产共享资产交换资产评价数据架构域数据标准数据质量数据安全数据模型元数据主数据技术能力建好数，用好数自助分析RDS数据门户驾驶舱监控分析预警应用分析应用决策应用敏捷数据建设数据运营中心，为客户提供从“建设”、到“治理”、再到“运营”，一站式、陪伴式技术服务数据运营中心框架工具平台精益数据运营数据研发域数据应用域数据运维域数据治理域数据流通域数据服务EdasACK云效ADS:匹配业务需求C

6、DM:OneData建模ODS:数据上云&标准化ADS:匹配业务需求CDM:OneData建模ODS:数据上云&标准化发布审批指定管理员ODS:贴源层与源端保持一致标准化基础资产，利于数据标准、数据安全以及规范建模处理CDM:规范维度建模，统一定义，工具层面避免重复指标建设ADS:贴合业务使用需求，指标下沉到表供业务消费输入数据标准数据资产建设数据资产管理数据资产需求数据资产查找数据资产消费否是数据调研模型设计模型评审数据开发SITUAT业务调研业务需求Dataphin开发环境Dataphin生产环境准资产(原始资产)资产标准化资产引入已上架资产准资产(待完善信息)数据标准录入数据标准映射数据