当前位置:首页 > 报告详情

2.快手从模型规范开始的数据治理实践-孙伟.pdf

上传人: li 编号:29685 2021-02-07 27页 10.90MB

1、快从模型规范开始的数据治理实践 孙伟-快数据研发专家 我介绍 孙伟 快数据研发专家 主要负责新业务公共数据和治理向 主要关注数仓技术、数据架构和数据治理领域 录 01 02 03 04 快数据治理体系思考 快模型规范治理实践 未来规划 数据治理背景介绍 01 02 03 04 快数据治理体系思考 快模型规范治理实践 未来规划 数据治理背景介绍 数据治理背景:为什么需要数据管治 数据的下半场:集中化的建设阶段 精细化管理阶段 标是降低数据成本、提升数据质量、减少数据险,最终实现数据价值化 163ZB 386万 美元 数据治理 数据治理是对数据资产管理 使权和控制的活动集合(规 划、监控和执) D

2、AMA定义的11个数据管理职能领域(DMBOK2, DAMA International) 数据治理背景:数据治理定义 执层 基础层 标准层 标层 数据质量管理数据安全管理 数据服务数据价值 元数据管理 数据成本管理 质量规范安全规范模型规范 数据治理背景:数据治理如何落地 质量& 成本& 安全 元数据管理 数据模型 数据模型是元数据管理的核对象 数据模型是质量、成本和安全治理的对象 好的数据模型规范是做好数据治理的基础 范式建模维度建模 Data VaultAnchor 数据治理背景:模型规范重要性 01 02 03 04 快数据治理体系思考 快模型规范治理实践 未来规划 数据治理背景介绍

3、快模型规范治理实践:模型不规范带来的问题 数据孤岛:为了快速满业务需求,存在很多烟囱式 建设,随着业务快速迭代,很多已经维护 数据不致:前期缺失指标的规范定义和管理,多处 开发导致的义性问题 模型不稳定:对频繁变化的业务缺少前瞻性设计导 致模型不稳定问题 模型产出时效差:模型耦合严重,产出时效差 业务快速增 产品迭代快 指标泛滥 数据需求 暴增 数据量级 暴增 缺少统 模型规范 01 制定模型 规范和标准 02 确定治理 标和法 03 元数据驱 动治理 快模型规范治理实践:模型规范治理思路 合理的规范和标准需要结合企业的特点和现状,没有最好,只有最合适 数据驱动是快化的部分 快业务态众多且迭代快,款产品线 标建设企业级数据中台,覆盖核业务线 和差异化的数据服务场景 快 数据服务度 数 据 服 务 深 度 快模型规范治理实践:模型规范思考 数据业务化 业务数据化 向 事 实 建 模 向 领

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要探讨了快手法数据研发专家孙伟关于数据治理的实践和思考。孙伟负责新业务公共数据和治理方向,关注数仓技术、数据架构和数据治理领域。文章提出了数据治理的背景和重要性,以及快手法数据治理体系的思考和实践。 数据治理的目标是降低数据成本、提升数据质量、减少数据风险,实现数据价值化。数据治理是对数据资产管理行使权和控制的活动集合,包括规划、监控和执行。快手法数据治理体系思考主要包括数据治理体系思考、模型规范治理实践和未来规划。 在模型规范治理实践方面,快手法存在数据孤岛、数据不一致、模型不稳定和模型产出时效差等问题。为解决这些问题,快手法制定了模型规范和标准,确定治理目标和方法,采用元数据驱动治理。模型规范治理思路是合理的规范和标准需要结合企业特点和现状,数据驱动是快手法文化的一部分。 快手法模型规范治理实践包括模型分层规范、指标定义规范和指标管理流程规范。模型分层规范包括数据域维度、业务过程维度和模型事实模型、汇总模型等。指标定义规范要求基于指标规范,辅助流程和工具实现指标的一致性开发和服务。指标管理流程规范包括数据孤岛、指标不一致、模型不稳定和模型产出时效差等问题。 未来规划方面,快手法致力于系统化治理工具的执行层、基础层、标准层和目标层的构建,包括数据质量管理、数据安全管理、数据服务、数据价值、元数据管理、数据成本管理、质量规范、安全规范和模型规范等。通过全局过程管理和度量体系的建立,提升数据治理的健康度和价值。
"数据治理如何提升数据质量?" "模型规范治理实践中的挑战与解决方案是什么?" "如何通过数据治理实现数据价值化?"
客服
商务合作
小程序
服务号
折叠