《网易数帆：数据标准在数据治理中的落地实践（2023）（36页）.pdf》由会员分享，可在线阅读，更多相关《网易数帆：数据标准在数据治理中的落地实践（2023）（36页）.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、数据标准在中的落地实践数据治理实践手册系列现实生活中，标准与我们息息相关，食物需要满足国家标准才能食用，汽车排放达标才能上路行驶，电脑接口得满足统一的标准才能够与外设对接等等。在数据世界，数据的标准也同等重要。我们期望将数据标准真正应用到实践中去，帮助客户解决资产化不足、数据质量难以提升、数据开发效率低等问题，于是网易数帆开始了数据标准的建设。在本手册中，我们将基于对数据标准的理解，阐述标准的建立并依据标准的建立内容和流程来设计的标准管理产品的介绍以及标准在数据治理过程中的具体实践，希望与大家碰撞出新的认识。一、数据标准是什么？二、数据标准的价值02三、如何建立数据标准？04四、数据标准产品介

2、绍133.1 数据标准规划04 3.1.1 收集现行标准04 3.1.2 从局部标准到全局标准04 3.1.3 发现更多数据标准043.2 数据标准制定05 3.2.1 元数据标准05 3.2.2 基础数据标准07 3.2.3 技术标准制定113.3 数据标准发布113.4 数据标准执行113.5 数据标准检查123.6 数据标准维护124.1 产品总体架构134.2 产品功能模块 14五、数据标准和数据中台的结合实践六、总结5.1 数据传输235.2 元数据24 5.2.1 表元模型设计24 5.2.2 字段元模型设计26 5.2.3 指标元模型设计26 5.2.4 标签元模型设计275.3

3、 模型设计27 5.3.1 分层规划27 5.3.2 分类规划27 5.3.3 表结构及数据项标准设计285.4 数据开发285.5 数据质量295.6 数据安全29 4.2.1 数据标准统计首页14 4.2.2 数据标准文件管理14 4.2.3 数据项标准管理15 4.2.4 元数据标准管理18 4.2.5 技术标准管理19 4.2.6 标准流程管理19 4.2.7 标准配置22数据标准在数据治理中的落地实践一.数据标准是什么？同样的，数据标准也会以文件的形式存在。除了国标、行标定义的标准外，企业内部为了便于各部门采取同样的数据建设规范，通常会使用文件来定义数据标准，以供各部门达成统一的共识

4、。文件固然是标准的一种体现形式，但文件是非结构化的，在实际应用中，只有理解、提取文件里的内容，将标准应用于产品设计及流程活动当中去，标准才能起到真正的规范约束作用。根据信通院发布的数据标准管理实践白皮书定义：数据标准（Data Standards）是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。毫无疑问，这是正确的。但还需要将标准践行，以建设数据中台为例，我们知道数据中台强调的是资源整合，在数据层面就是整合多源异构系统中分散在各个孤岛的数据，形成统一的数据服务能力，这是一项艰巨的任务，很难通过互相约定以及默认信任相关方来保障数据的价值发掘，形成真正的数据资产。于是，基于此点我们将数

5、据标准进行扩充?对管理范围的扩充：从狭义的数据标准（指对基础数据本身的规范性约束，如数据格式、类型、值域等）扩充到整个数据中台层面的标准（包含治理各阶段的规范性约束）?对管理手段的扩充：数据标准不再是指一系列的数据标准化文档，而是一套由规范要求、流程制度、技术工具共同组成的体系，通过这套体系完成标准的规划、制定、发布、执行、检查、维护等行为，来完成数据的标准化以及标准的沉淀。在实际工作生产中，一般会参照国家标准、地方标准、行业标准等来进行具体的活动，来确保生成过程符合监管要求、便于上下游协同等，于是会常见到如下的标准指导文件：01数据标准在数据治理中的落地实践二.数据标准的价值02在说价值之前

6、，先聊聊让我们头疼的问题。人人都在谈论数据标准，但数据标准真的被应用起来了么，我们拿着一堆标准文件，期望企业内部宣贯大家要按照这个标准来，但执行的结果如何？数据集成多源异构数据时，数仓开发人员真的能快速理解这些数据的实际业务含义么？如果理解成本很高，开发人员可能就会出现认识偏差。终于数据集成进来了，可以开始进行数仓建设了，如何保证每一层的数据都是符合质量要求的，靠开发的个人素质么？比如我们一般在dwd层做数据标准化，那么不同主题域的由不同的负责人进行开发，怎么保证标准化的结果似乎满足规范的？dws的数据可信度还能保证么？还能被叫做公共模型层么？再后，数仓开发完成后需要对外开放，我们其实开发的不