2020年终大会-数据治理：15-1.pdf

1、美团酒旅数据治理实践 美团-大数据部-李建舒 美团基础研发平台 1 目录 背景介绍 治理实践 未来规划 2 消除问题 为什么要做数据治理？ 数据采集数据产数据存储数据应数据销毁 数据从产到应全流程 数据产 产问题 数据开发 数据治理 3 需要治理哪些问题？ 数据 问题 质量 成本 效率安全 标准 数据常见问题数据常见问题 数据质量 标准规范 成本控制 数据安全 研发及管理效率 4 美团酒旅数据现状 0 2000 4000 6000 8000 10000 12000 14000 16000 2017Q1 2017Q2 2017Q3 2017Q4 2018Q1 2018Q2 2018Q3 2018

2、Q4 数据生产任务数 临问题 标准化规范缺失，数据产、存储和应各环节的流程 规范统标准 数据质量问题多，数据冗余多，数据烟囱式建设，指 标径乱，法保证数据致性 成本增过快，数据存储和计算费增快，成本控 制和调优困难 数据安全控制弱，数据产和查询权限统规则，数 据密级统管理 数据管理和运维效率低，数据使问题的咨询多，数据 RD需要花费量时间解答业务同学的问题 5 目录 背景介绍 治理实践 未来规划 6 数据治理策略 组织 标准 衡量 技术 数据治理 成本 安全 效率 质量 元数据 技术体系 质量效率成本 元数据 标准化规范及组织保障 衡量指标 安全 数据治理的内容数据治理的实现路径 7 标准化及

3、组织保障 业 务 数 据 产 品 组 业 务 数 据 开 发 组 后 台 开 发 团 队 数 据 平 台 分 析 具 中 业 务 销 售 部 产 品 及 运 营 部 商 业 分 析 部 业务部技术团队 数据管理委员会 制定 组织执 标准化 全链路数据标准化建设 数据采集 数仓开发 指标管理 数据应 数据命周期管理 8 数据质量 常问题 数仓规范性差 数据致性问题多 数据应法把控 多个产品中指标逻辑不同 服务接 统数据服务 指标管理 统指标逻辑 数据产品 统户产品 数据仓库 统数仓规范建模 消息推送OLAP查询API接 业务系统 业务系统数据前端流量后台志 分析主题层 组件层 明细层 应层 维度管理查询逻辑模型管理指标管理 数据检索产品业务销售产品管理者产品 技术实现 9 统一数仓规范建模 模型设计规范 数仓分层和主题 命名、类型、词根 公共维度、关联关系 模型开发规范 开发流程 代码编写