数仓 Onedata 体系建设方法论.pdf

《数仓 Onedata 体系建设方法论.pdf》由会员分享，可在线阅读，更多相关《数仓 Onedata 体系建设方法论.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、数仓 Onedata 体系建设方法论演讲人：邓成聪2023 讲师介绍 邓成聪，2000年毕业于武大大学，层服务于IBM，埃森哲，百度和华为，邓成聪是前百度大数据资深产品设计师、华为AI平台高端产品专家，一手孵化了华为ModelArts(获得斯坦福大学及全球智博会双料冠军)，曾代表华为参与编写中国人工智能平台标准。邓成聪也是TOGAF注册企业架构师（95分，全球历史最高分）。邓成聪在数据建模领域有20年经验，曾获百度总裁特别奖、华为总裁奖。方法论体系数据建模流程工艺实践案例心得总结方法论体系大白话3分钟讲明白什么是数据仓库东北海南新疆云南卸货区原料区半成品区成品区铺面东北海南新疆云南土豆粉大米面

2、粉玉米粉菜米线馒头面条点餐种子自助餐卖面粉大米卖包子土豆水稻小麦玉米运输大白话3分钟讲明白什么是数据仓库海南云南卸货区原料区半成品区成品区铺面海南云南点餐种子自助餐卖面粉大米卖包子土豆水稻小麦玉米运输核心系统信用卡系统基金系统中间业务财务系统HR系统核心信用卡中间业务传输抽取ODS基础数据区客户产品位置交易会计客户汇总产品汇总交易汇总资产汇总渠道汇总汇总区应用数据客户分析产品分析风险分析财务分析固定报表灵活查询/多维分析驾驶舱对外供数数据挖掘/机器学习抽取/采集清洗+转换聚合+汇总汇总展现东北新疆东北新疆土豆粉大米面粉玉米粉菜米线馒头面条数据仓库方法论采购人事销售库存生产财务.EDWODS市场

3、分析集市财务分析集市产品分析集市.展现应用展现应用KPI数据挖掘多维分析灵活查询固定报表企企业业门门户户CIF体系架构体系架构数据整合体系数据整合体系BI应用应用在数据仓库领域的方法论，有两派理论，分别由Bill Inmon及Ralph Kimball所倡导；在Bill Inmon新的方法论体系中，融合了两派方法论，提出了CIF（Corporate Information Factory）的体系架构，很多企业的数据仓库及BI架构，都遵循了这种架构理论。目前在大型企业，成熟的数据仓库解决方案中，也最终走向了CIF的体系架构。数据模型的地位 在数据仓库中，数据模型的地位就像发动机一样重要。数据模型

4、的稳定性、可获展性、数据模型易用性等，是评价建模水平的关键标准。建模中需要有相应的策略去指导。Onedata体系 Onedata 概念最初是由阿里巴巴提出 OneData的核心，本质是数据在数据仓库里面，全局完整、含义一致、避免重复建设。Onedata的理念与Bill inmon的理念，企业架构的思想理念其实是一致的，可以说殊途同归！Onedata 建设的从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。即数据只建设一次。OneData又主要抽象成三个部分，分别是：OneID、OneModel、OneService。第一部分：OneModel 致力于实现数

5、据的标准与统一；第二部分：OneID 致力于实现实体的统一，让数据融通而非以孤岛存在，为精准的用户画像提供基础；第三部分：OneService 致力于实现数据服务统一，让数据复用而非复制。数仓模型企业架构与数据仓库的关系在企业架构的数据架构中，企业级数据模型会落地在数据仓库中，也是数仓的参考模型模型设计工艺流程Onedata数据模型设计思路设计思路设计思路数据模型设计原则数据模型设计策略数据模型设计步骤数据模型设计理念数据模型设计规范数据模型设计阶段划分数据模型设计产出物设计依据业务架构业务架构行业最佳行业最佳实践实践企业数据企业数据源结构源结构企业的应企业的应用需求用需求模型层次划分设计目标

6、设计模式数据仓库数据模型设计流程8个过程个过程过程可定义过程可定义迭代开发迭代开发参与角色参与角色业务分析师（BA）模型设计师DBAETL工程师需求分析数据源分析现有模型满足度及差异分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优概念模型设计Entry最佳实践案例一：百度展示广告EDW建设百度EDW建设，数据模型的设计出发点，来自于企业架构中的业务架构，也就是业务信息案例一：百度展示广告EDW建设百度EDW建设，在业务信息的梳理中，对标IAB的信息模型，提炼关键的业务对象