《华为：2023华为终端云DataOps实践白皮书（43页）.pdf》由会员分享，可在线阅读，更多相关《华为：2023华为终端云DataOps实践白皮书（43页）.pdf（43页珍藏版）》请在三个皮匠报告上搜索。

1、编写说明编写单位：华为终端云、华为云编写组成员华为终端云梅 岩，余 斌，陈 梁，林啸鸣，刘 珩，陆松超，薄宏剑，丁凯平，郭贺飞，金雪松，孙建楠，项登荣，章其东，朱佳伟华为云柏效意，喻然，秦韵，袁勇PREFACE数字经济步入全面发展阶段，大数据技术在各行业中被广泛应用，企业生产、营销、运营等各环节中大数据都发挥重要的作用与价值，但数据应用开发需求的持续增长、与数据用户角色的日益复杂，致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加，海量数据的爆发式增长给数据价值挖掘带来了一系列的挑战。DataOps作为一种新兴的数据处理与管理方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数

2、据开发支持，同时也简化了数据交付的周期，提升数据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。在此背景下，华为云联合华为终端云撰写本白皮书，从行业发展背景、数据文化转变、构建端到端流程体系和工程能力解决方案等方面，详细阐述华为终端云DataOps平台在数据合规、安全、高效、自治的实践过程，及如何使能数据实体间的高效合规共享和快速交付，以支撑华为终端云业务数据的快速价值变现。前言01 背景 1(一)行业背景 1(二)终端云DataOps演进历程 102 DataOps关键技术及行业趋势 2(一)核心概念 2(二)关键技术 3(三)行业趋势 503 华为终端云Dat

3、aOps目标 6(一)数据作业合规 6(二)数据共享安全 6(三)协同交付高效 6(四)数据资产可治理与自治理 704 华为终端云DataOps组织与流程 8(一)业务场景 8(二)理念统一 9(三)流程设计 10(四)组织设计 11(五)DataOps实践七步法 1205 华为终端云DataOps能力框架 13(一)架构 13(二)数据接入 14(三)数据生产 17(四)数据调度与运行 18(五)数据治理 20(六)数据运维 28(七)开放平台 3006 未来展望 3207 华为终端云实践案例 33(一)基于DataOps实现数据高效接入&AI实时推荐实践 33(二)DataOps Pipe

4、line数据开发与运维实践 34(三)元数据管理（数据实体&信息架构树）实践 35(四)声明式数据接入管理实践 36(五)数据安全（分类分级）管理实践 37(六)数据质量评测体系实践 38contents目录01PAGE背景背景01随着数字化转型的普及和深入，大数据技术在各类行业中普遍落地使用，企业生产、营销、运营等各环节中的数据将普遍被采集，数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加。海量数据的爆发式增长给数据价值挖掘带来了一系列的挑战：数据孤岛阻碍数据的共享与统一，数据在各部门间协作困难，单点自动化难以支撑整体效能提升。Data

5、Ops作为一种新兴的数据处理与管理方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。阶段一(2014-2018年)，基础能力建设：华为终端云大数据平台初步构建统一数据湖仓，单集群节点规模500+，初步建立数据安全与共享框架；(一)行业背景(二)终端云 DataOps 演进历程阶段二(2018-2021年)，全流程工程能力平台：启动构建全流程工程能力平台，包含在线数据开发平台、数据治理平台、数据运营平台等，单集群节点规模突破1W+。阶段三(2021年至今)，“可信、高

6、效、自治”的一站式平台：对齐业界DataOps理念，在组织内倡导“合规、安全、高效、自治”的数据文化，打造涵盖数据开发、运维、治理的端到端流程体系和工程能力平台WiseDataOps。提供“可信、高效、自治”的一站式体验，支撑数据管理员、工程师、分析师等专业角色在可信合规前提下实现数据实体的高效共享和快速交付，实现终端云服务业务数据生产到应用消费的端到端价值。02PAGEDataOps 关键技术及行业趋势DataOps关键技术及行业趋势02(一)核心概念Lenny Liebmann提出DataOps的概念，在3 reasons why DataOps is essential for big