数据生产智能：元数据驱动的全链路数据治理最佳实践-全链路数据治理峰会（23页）.pdf

《数据生产智能：元数据驱动的全链路数据治理最佳实践-全链路数据治理峰会（23页）.pdf》由会员分享，可在线阅读，更多相关《数据生产智能：元数据驱动的全链路数据治理最佳实践-全链路数据治理峰会（23页）.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、数据生产智能王磊（汐衍）GTS-交付技术部-技术中台-大数据交付与架构阿里云高级交付专家元数据驱动的全链路数据治理最佳实践Contents目录01基于DataWorks的数据治理全流程02元数据驱动的数据生产智能03客户案例最佳实践基于DataWorks的数据治理流程01平台建设架构、模型建设数据开发实施数据治理运营数据服务运营大数据产品架构设计数据链路设计及优化维度建模辅助设计工具数据&任务批量上云大数据研发提效工具包大数据开发实施大数据知识库、答疑大数据实操培训SQL扫描工具/调优任务诊断工具/调优全链路监测产品数据门户产品统一数据服务层产品统一运营工作台大数据通用数据治理咨询行业加持深度

2、定制贴身服务知识转移数据生产过程工具&服务分析层建设维度建模数据集成/ETL开发实施设计/规划/咨询客户自开发阿里样板间代码优化成本优化数据服务化数据运营数据展示行业资产沉淀开发提效中台开发落地开发规范数据-应用开发质量用起来客户价值整体架构设计批量数据任务上云基础能力建设数据生产与服务关系全流程计算平台引擎（MaxCompute、Hologres、EMR等存储计算引擎）模型库/FML迁移助手/发布中心元数据服务调度服务OPENAPI服务质量监测OPENDATA(产品元仓)DataWorks(开放API&元数据&元仓)主打行业：工业制造能源电力中央部委金融保险数仓建模数据资产管理/交换共享数据

3、研发向治理轻量化数据分析工作台场景1:0-1搭建数仓框架客户画像：无模型体系，自己动手，希望工具门槛低易上手，对业务数据库有控制力场景2:已有模型资产管理客户画像：已形成模型设计，有存量业务系统包袱，团队多需要落标对标指标建模编辑器可视化指标树行业指标库指标联想与发现分层建模蓝图模型自动生成数仓建模-基于指标分析的自动建模数仓建模-数据中台维度建模：维度表 事实表数据指标：原子指标 派生指标 时间周期修饰词 计算逻辑数仓规划设计：业务过程 数据分层 数据域数仓标准：数据标准 标准代码 度量单位DataWorksX BDAS定制化交付服务数仓模型咨询设计数据资产门户定制数据治理咨询数据分析工作台

4、定制基于DataWorks的数据治理大图数据资产门户数据集市多级数据交换跨域任务调度数据标准和主数据SQL代码优化全链路监测两级任务监控源端数据一致性存储、调度优化智能SQL开发数据沙箱权限横向资产拆分查询下载脱敏数据查询加速元数据驱动的数据生产智能02数据生产过程业务元数据方法论&AI数据标准元数据复杂计算驱动持续迭代进化治理存储元数据统一元数据引擎技术元数据数仓规划元数据任务元数据组件运行元数据数据血缘业务过程元数据调度元数据数据权限产品底座安全元数据数仓规划设计数据模型设计数据探查上云数据探查监控治理运营优化元数据驱动的数据治理 业务、技术元数据烟囱式存储在不同产品的数据库 数据治理持续

5、产生新的元数据，时间维度分散无法形成合力 元数据应用时空分散元数据隔离分散 混合多源元数据多重组合分析 持续迭代，持续优化，形成持续生长的元数据大图 避免重复配置一站式运营，提高运营效率元数据应用价值 基于规则跨时空分析 基于图算法体现数据价值分析和质量问题影响分析 基于机器学习算法自动优化、释放调度和存储压力 智能持续迭代回写，生成新智能元数据智能元数据应用升级智能建模Convergence of IT Infrastructure智能监控Online Presence of Core Technologies智能优化Data and Intelligence Capabilities of

6、 Business Applications元数据驱动的数据生产智能从三个主要数据生产角度解释基于元数据的驱动和智能智能指标建模自动指标建模平台自动指标建模平台能力涵盖指标需求阶段的溯源和定义指标建模阶段的指标自动发现、指标推荐、自动分层设计等业务视角的模型探查可视化展示、指标管理、辅助企业经营管理等业务能力数据源溯源指标溯源客户需求需求输入维度模型自动生成指标逻辑设计指标需求设计指标运营工具分层设计智能指标发现引擎Features auto discovery engine指标搜索引擎指标编辑器F-ADE（Features auto discovery engine）指标发现引擎是在指标设计