数据中台

7数据中台的建设路径

数据中台是什么

数据中台由阿里兴起，核心思想是信息共享。针对数据进行层级分割、水平解耦以及独立公共业务的入口是数据中台要完成的基本工作。数据中台大致分为数据模型、数据服务与数据开发三层，以数据模型完成数据的集成及沉淀，以服务形式完成数据接口的构造，以数据开发完成数据及应用个性化需求

(1) 阿里巴巴：中台不仅是个组织，中台是个理念。中台自己单独的产品不能直接产生价值、不能直接对外服务，一定要变成别人产品的一部分，让别人的产品提供更好的服务。在阿里巴巴的定义中，数据中台是方法论、组织与工具的有机结合，是快、准、全、统、通的智能大数据体系。各类数据技术是构建数据中台的基础，能够高效对各类数据进行统一收集、处理、储存、计算、分析和可视化呈现，使数据最终与业务链条结合，真正转化为企业核心资产。数据中台本质上是一个以数据驱动业务发展为最终目的的智能大数据总体系。

(2)腾讯：中台既有分析能力，也有管理能力。把腾讯过去服务内部业务过程中形成的能力进一步开放。

(3)用友网络：激活企业“数字+智能”融合发展，为更多企业提供全方位数字化和智能化的服务

(4)字节跳动：中台的出现是为了在解决技术架构与业务架构慢与贵的矛盾，进行业务“配速”而生，合理的中台技术必然是以解决当前的业务与技术矛盾为出发点的

(5)恒生电子：早在20年前，为满足业务需求，恒生电子就设立了公共技术部门—―该部门专门负责为恒生提供可复用的公共技术平台。该部门充当的角色，实际上就是现在所谓的“技术中台”

(6)明略科技：在基于知识图谱能力去打造数据中台时，也是以数据为中台的人或者组织以及原有的系统的重构，所以我们觉得这样的一个理念，应该是符合未来的新一代的客户的需求的，所以我们把它称之为‘新一代’数据中台

数据中台的一般结构

(1)数据模型

数据中台可以沉淀多种数据模型，模型通用性较好。数据进行层次的划分可以对数据模型进行管理，其为数据仓库模型，按照数据仓库规范分层开发，实现数据标准化。还有一些数据挖掘的模型，如果使用频率较高，也可在数据中台中进行沉淀。

(2)数据服务

数据中台对外提供统一的数据服务是数据中台最基本的一项能力。在构建数据服务时，开发人员需根据业务实际需求，对数据模型进行以服务导向的数据封装，这里所述的数据服务基本上和业务中台中的服务相似，但是数据中台数据封装的困难度往往更大。数据封装一般服务对象有两类，一是直接给开发者提供，方便开发人员能够简单、便捷地直接访问数据；二是为业务分析人员提供服务，让其进行一些算法分析或数据决策的工作，包括数据报表、可视化等功能。

(3)数据开发

前两层数据中台结构为整体数据中台搭建奠定了基础，而这些原始数据以及基础服务满足不了前端个性化的要求，所以数据开发是连接后台和前端的重要桥梁，一般数据开发可分为三层，第一层是标签库构建，相对与其他层次这一层构建较为简单，其主要面向业务人员，通常将标签进行组装从而形成营销客户群；第二层是数据开发平台的架构，它将面向SQL开发人员以及所有数据用户，为其提供数据可视化处理及访问；第三层就是环境和组件，面向技术人员，使其能够自主打造个性化的数据产品。层层递进，较好地满足对于不同层次人员提出的要求。

(4)数据治理

数据治理任务自始至终都在进行，它与数据库的范式类似，目的是为了更好地对数据进行管理。这一工作包含了一整套完整的组织、制度以及技术管理行为，它可以被理解为是广义信息治理的一个分支，一般是指制定管理优化、数据安全、数据资产化的政策，而进行数据治理的原因一般是为了满足公司的突破性发展。一般公司前期业务在经历粗放式的增长后，原有的模式已经不能再满足当下业务的迅速增长，而需要通过新的手段实现业务的突破，所以往往采用数据手段解决这一问题。业务要求的数据必须满足准确、及时的要求，因此数据治理在数据中台中扮演了关键的角色。

(5)数据资产

数据资产是企业的重要数据资源，它能够带给企业当前以至于未来的经济效益。近年来，在大数据的浪潮愈发高涨，各企业已经深刻认识到，数据也是一种重要的资产，数据的价值也受到了社会的高度重视。现在，数据可视化已在许多企业落地，新的困难已经从数据可视化转为“数据资产化”。数据中台尽管包含了数据仓库的一些模型，但是只有破除数据孤岛，这些模型才能成为真正意义上的数据资产。数据中台构建首先要求对指标库进行规范化，然后将其进行组合，构建个性化的中台的组件，而这一切都要依赖于对元数据的管理。

数据中台与数据仓库的区别

数据仓库起源于决策支持系统，是一个面向主题的、集成的、非易失性的、随时间变化的，用来支持管理人员决策的数据集合，多以报表方式进行数据呈现。而数据中台则是一种新的理念，是”数据+技术+产品+组织“的多元组合，以”数据产品+数据技术+方法论+场景实现“为综合性输出，是企业开展新型运营的中枢系统。

(1)属性与定位：数据仓库仅为职能辅助属性；数据中台基于技术而又深入全线业务与运营

(2)服务对象：数据仓库小部分业务人员和企业决策层；数据中台扩展至一线人员及企业全体员工

(3)数据处理类型：数据仓库多为结构化数据；数据中台结构化数据、非结构化数据

(4)体系架构：新一代的数据仓库采用分布式架构，一般基于MPP数据库或大数据平台实现数据分析；数据中台多系统组成，除了大数据存储和计算平台外，还包含数仓建设、工作台开发IDE、任务调度、数据同步服务、对外统一数据服务、资产管理系统、敏捷BI报表开发等多个组件，通过多个维度组件组成一整套解决方案

(5)服务表现形式：数据仓库多以报表形式呈现；数据中台更加多样化，除了基础报表，还有领导决策系统、行业分析、业务洞察、业务重塑、自助查询等面向业务场景的服务及产品

(6)人员构成：数据仓库主要是数据分析人员；数据中台人员构成多样，需要既懂业务也了解数据分析的综合性人才

(7)价值体现：数据仓库价值体现在业务决策数据支持，市场数据查询；数据中台价值体现在业务决策数据支撑，业务支持，业务优化数据支撑，数据变现等

数据中台对企业的价值

(1)提升数据质量：数据中台基于Onedata方法论构建统一的公共层，保证了源头数据的一致性，且实现数据按照统一口径只加工一次，实现全局指标、标签的统一，大大提高数据质量。

(2)节约企业数据应用成本：基于数据中台的元数据管理的数据血缘，可以实现数据投入产出比的评估，及时发现并下线低ROI的数据，也避免数据重复加工。由此降低数据的研发、存储和计算成本，降低企业数据应用成本。

(3)据中台是企业数据化建设的基础设施：数据中台解决了企业全域数据汇聚的问题，打通以往的数据孤岛，沉淀数据资产，实现数据之间的价值共通，可基于数据中台满足复杂的数据应用场景。

(4)健全各部门协作机制：利用系统化的解决方案配合一定的管理机制，实现业务人员、数据研发、产品经理、数据分析师等角色的高效协同，提升各角色之间的协作效率。

数据中台必备能力

数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力，让企业员工、客户、伙伴能够方便地应用数据。

(1)数据汇聚整合

数据丰富和完善:多样的数据源进行合并和完善

管理易用:可视化任务配置、丰富的监控管理功能

数据集成运营:数据接入、转换，写入或缓存内部来源的各来源数据

数据目录与治理:用户可以方便的定位所需要的数据。理解数据(技术、业务治理)

数据安全:确保数据的访问权限

数据可用:用户可简便、可扩展的访问异构数据，可用性和易用性高

部署灵活:本地、公有云、私有云等多种部署方式

(2)数据提纯加工：完善的安全访问控制；完善的数据质量保障体系；规范的、紧密结合业务的可扩展的标签体系；面向业务主题的资产平台；智能的数据映射能力，简化数据资产生成

(3)数据服务可视化：提供自然语言等人工智能服务；提供丰富的数据分析功能提供友好的数据可视化服务；便捷、快速的服务开发环境，方便业务人员开发数据应用；提供实时流数据分析；提供预测分析、机器学习等高级服务

(4)数据价值变现：提供数据应用的管理能力；提供数据洞察直接驱动业务行动的通路；提供跨行业务场景的能力；提供跨部门的普适性业务价值能力；提供基于场景的数据应用；提供业务行动效果评估功能

2021数据中台公司TOP50

《互联网周刊》、德本咨询、eNet研究院联合发布《2021数据中台TOP50》，其中前二十名分别是阿里云、用友、腾讯云、明略科技、TalkingData、国双、云徙科技、金蝶、袋鼠云、数澜科技、星环科技、奇点云、Kyligence、熵简科技、创略科技、普元信息、数梦工厂、神策数据、国云教据、金山云；二十一至五十名分别是网易数帆、宽拓科技、同佰科技、浩鲸科技、滴普科技、得帆、悠易互通、恒生电子、中奥科技、浩瀚科技、百融云创、百分点、企加云、惟客数据、百胜软件、云启星辰、元年科技、

ChiefClouds、恩亿科、云枢中台、睿帆科技、智领云、科杰大数据、联蔚科技、亿信华辰、爱聚科技、道科、互道、商越、润联科技

数据中台的建设路径

根据艾瑞咨询，数据中台的建设不是一蹴而就的，其建设路径及难度跟企业数字化变革驱动力、行业背景直接相关，与企业原有机制的融合是一个长期的过程，其建设成本在百万元以上，建设周期更是以年为单位计算。整个数据中台的建设没有一个通用的企业级模型套用，一般需要从顶层设计出发，自上而下贯彻。根据企业自身的业务目标逐级建设，优先从小场景领域内开始试点，逐步纳入更多的业务模块，以达到企业数字能力的逐级进化和价值的持续叠加。此外，在数据中台的建设过程中，企业需要培养自身的数据管理团队，甚至重构整个IT团队，以提高数据服务和企业数字化运营的能力。