《袋鼠云:数据资产管理白皮书(2024)(109页).pdf》由会员分享,可在线阅读,更多相关《袋鼠云:数据资产管理白皮书(2024)(109页).pdf(109页珍藏版)》请在三个皮匠报告上搜索。
1、袋鼠云数据资产管理白皮书袋鼠云数据资产管理白皮书版权声明版权声明本报告版权属于杭州玳数科技有限公司(简称袋鼠云),并受法律保护转载、摘编或利用其他方式使用本报告文字或者观点的,应注明“来源:杭州玳数科技有限公司(简称袋鼠云)”。违反上述声明者,本司将追究其相关法律责任。袋鼠云数据资产管理白皮书袋鼠云数据资产管理白皮书编制说明编制说明近年来,政府将数据要素纳入了经济发展的重要指示性文件当中,希望利用数据驱动,让数据产生价值。2023 年 8 月 21 日,财政部正式对外发布企业数据资源相关会计处理暂行规定,并自 2024 年 1 月 1 日开始施行。数据要素将被正式纳入资产负债表,这意味着数据成
2、功实现了从自然资源向经济资产的转变。全国数据资源调查报告(2023 年)显示,2024 年以来不少地方纷纷成立“数据集团”,加快盘活数据资产。作为数字经济时代的首要生产要素,数据将有望成为政府和企业财务报表以及财政收入的重要支持。数据资产管理是盘活数据资产、实现数据资产入表的前提,它以厘清数据资产的成本与效益、扩大数据资产的应用范围为工作重点。国际咨询机构 Gartner认为随着中国政府、企业大量推行数据资产入表,以及发展虚拟经济,数据资产管理技术在中国国内将会发展得比国外更快。Gartner 大胆预测,在两年之内数据资产管理技术在中国就能进入生产成熟期。本书围绕数据资产管理的相关职能,阐述数
3、据资产管理的概念内涵、实施路线与平台工具,并借助行业实践案例解析,为读者提供数据资产管理新思路。编写单位:编写单位:袋鼠云编写指导:编写指导:陈吉平、宁海元、闵佳、徐艳编写小组(按照拼音首字母排名):编写小组(按照拼音首字母排名):陈晗、范云浩、黄国乔誉、黄丽丽、姜福海、林丹丹、林榕、蔺敬一、刘浩、陶漫佳、杨堪舜、张阳、张晶晶、余彦袋鼠云数据资产管理白皮书目录一、数据要素再认识.1(一)数据要素:第五大生产要素.1(二)数据资产管理助力数据资产入表.3二、数据资产管理概述.6(一)数据资产定义.6(二)数据资产管理含义.7三、数据资产管理组成及其职责.10(一)数据资产管理框架概述.10四、数
4、据资产管理工具.22(一)数据开发.22(二)数据资产.24(三)指标资产.34(四)标签资产.44(五)数据共享.52(六)数据安全.55(七)数据消费.60(八)工具特色.64五、数据消费实践.67(一)金融行业数据消费实践.67(二)央国企数据消费实践.77(三)制造行业数据消费实践.82(四)海港行业数据消费实践.85(五)政务数据消费实践.89(六)高校数据消费实践.93(七)景区数据消费实践.97袋鼠云数据资产管理白皮书1一、数据要素再认识一、数据要素再认识(一)数据要素:第五大生产要素(一)数据要素:第五大生产要素生产要素是维系国民经济运行及市场主体生产经营过程中所必须具备的基本
5、因素,是生产过程中必须加以利用的资源。信息技术革命之后,随着信息技术、大数据、人工智能的飞速发展,数据要素的重要性日益凸显,它不仅渗透到国民经济运行的各个层面,而且在市场主体的生产经营过程中扮演着不可或缺的角色,数据已成为推动新产业、新模式诞生的关键力量。无论是政府行政、企业生产经营,还是民众的日常生活,数据都与之紧密相连,成为现代社会不可或缺的一部分。以地图应用为例,通过收集并分析用户的出行数据,地图应用能够精准识别交通拥堵区域与人流密集地,进而提供更为个性化的导航服务。这正是数据要素在现代社会中发挥的关键作用,它不仅优化了人们的出行体验,也提高了资源配置的效率。正是基于数据要素的这种重要性
6、,2020 年 4 月 9 日,中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见,分类提出了土地、劳动力、资本、技术、数据五个要素领域改革的方向,数据作为一种新型生产要素也是首次正式出现在官方文件中。数据要素是数字化、网络化、智能化的基础,它不仅推动了经济的增长,也成为了国际竞争的新抓手。图 1 数据要素:第五大生产要素本质来说,数据要素是指那些以电子形式存在的、通过计算的方式参与到生产经营活动并发挥重要价值的数据资源。因此,“数据要素”一词是面向数字经济,在讨论生产力和生产关系的语境中对“数据”的指代,是对数据促进生产价值的强调。即数据要素指的是根据特定生产需求,汇聚、整理、加
7、工而成的计算袋鼠云数据资产管理白皮书2机数据及其衍生形态。投入于生产的原始数据集、标准化数据集、各类数据产品及以数据为基础产生的系统、信息和知识均可纳入数据要素讨论的范畴。但数据要素这一概念又不仅仅是对各行业各领域各类数据的指代,更是对数据所蕴藏巨大价值的强调。图 2 数据要素主要表现形态因此,数据与土地、劳动、资本、技术等传统生产要素相比有明显的独特性。作为技术革新的产物,数据展现出虚拟性、低成本复制性以及主体的多样性。这些技术特性赋予了数据非竞争性、潜在的非排他性以及异质性的特点,使其在经济活动中的性质与传统要素有所不同。尽管数据的某些特性使其难以按照传统方法进行管理和利用,但其可复制性、
8、可共享性、无限增长和供给的特性,为经济增长提供了新的动力。这些特性打破了传统生产要素有限供给的限制,为经济的持续增长和可持续发展提供了坚实的基础和广阔的空间。可以说,数据要素是传统生产要素理论的重大突破,正成为催动各行各业快速发展变革的核心竞争所在。这几年来,中央相继发布多项政策文件,包括关于构建更加完善的数据要素市场化配置体制机制的意见、“十四五”数字经济发展规划、关于构建数据基础制度更好发挥数据要素作用的意见、数字中国建设整体布局规划、“数据要素”三年行动计划(20242026 年)等,致力于推动数据要素的发展,并特别强调数据要素市场建设的重要性。这些政策文件的出台,标志着数据要素已经正式
9、迈进市场化阶段,日益显露出巨大的商业价值与无可估量的市场潜能。数据要素正成为驱动经济增长的全新动力,构筑起新时代下各行各业的袋鼠云数据资产管理白皮书3新质生产力。图 3 党中央国务院发布多项政策文件围绕数据要素布局要实现数据要素的市场效能,真正发挥数据生产要素的作用,离不开数据资产化。数据资产管理是释放数据要素价值、推动数据要素市场发展的重要前提与基础。通过构建全面有效的管理体系,规范数据资产的采集、加工、使用过程,提升数据质量,保障数据安全,同时丰富数据资产的应用场景,建立数据资产生态,持续运营数据资产。为政府机构与企事业单位在资产计量确认方面提供了良好的数据条件和能力基础。(二)数据资产管
10、理助力数据资产入表(二)数据资产管理助力数据资产入表数据资产不同于原始数据,它代表着经济社会数字化转型中的一种新型资产类别,被认为是数字时代中极为关键的资产形式。通过有序推进数据资产化并强化其全生命周期的管理,可以更有效地激发数据资产的内在价值。在现代产业生态链中,数据资产管理充当着桥梁与纽带的关键角色。它衔接上游的硬件基础包括计算机、网络设施等实体设备制造业,以及为数据处理提供平台的软件行业,形成技术支撑的坚实后盾。而向下游延伸,数据资产管理服务于多样化的应用领域,面向对信息化管理与高效数据资源利用有着迫切需求袋鼠云数据资产管理白皮书4的企业、事业单位乃至政府部门,成为提升决策效率、驱动业务
11、创新的重要工具。这一链条中的每一环相互依存,通过优化上下游间的合作与协调,不仅确保了数据资产的安全流通与合规使用,还最大化地发挥了数据在各行业应用中的增值潜力。继数据资产入表会计新规正式落地之后,数据资产管理领域也再度迎来国家级重磅文件。1 月 11 日,财政部公开发布 关于加强数据资产管理的指导意见,肯定了数据资源可具有资产属性,是数据要素市场发展的重要里程碑。作为报表意义上的“资产”,企业数据的市场价值与业务贡献将在财务报表中得以“显性化”。数据资产入表是数据资产价值化的闭环之举,将企业数据资产以会计科目和货币化形式呈现,将推动企业数据资源向数据资产转变,形成规范的数据资产开发、运营和管理
12、体系,提升企业数据治理能级。这是一个巨大蓝海,而数据资产管理正是数据资产入表的前提。数据作为新型生产要素,具有其它四类生产要素不具备的价值特性,因此开展数据资产入表要夯实机制、基础。企业不宜盲目推动数据资产入表,要在数据资产管理上下功夫,尽快建立起有效的数据资产管理体系,从数据资产发展战略、管理机制等方面,规划制定数据资产全生命周期管理流程,确保数据资产合规、安全、可靠地使用。打下数据资源入表的管理基础,建立数据登记确权、评估计价和资产入表的政策“闭环”,激活万亿数据资产,是开启这一蓝海的金钥匙。图 4 内外部协同的企业数据资产入表全流程路线图袋鼠云数据资产管理白皮书5袋鼠云数据资产管理白皮书
13、6二、数据资产管理概述二、数据资产管理概述(一)数据资产定义(一)数据资产定义关于数据资产的定义,中国信通院、国标等都有相关观点,但这些定义并不是相互冲突的,而是相互补充的,是基于不同视角下对数据资产的理解。中国信通院数据资产管理实践白皮书 6.0:数据资产是由组织(政府机构、企事业单位等)合法拥有或控制的数据资源,以电子或其他方式记录,例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据,可进行计量或交易,能直接或间接带来经济效益和社会效益。国家标准信息技术 大数据 数据资产价值评估(征求意见稿):数据资产是以数据为载体和表现形式,能进行计量的,并能为组织带来直接或间接经
14、济利益的数据资源。图 5 数据资产化的发展阶段综上所述,可以给出一个较为通用的数据资产的定义,即“数据资产是指企业拥有或控制的、预期会给企业带来可持续经济利益、以数据为主要内容和服务的可辨认形态”。“企业拥有或控制的”,就是企业必须拥有数据资产的完整权利,即所谓的三权:数据资源持有权、数据加工使用权、数据产品经营权。“预期会给企业袋鼠云数据资产管理白皮书7带来可持续经济利益”,这些利益可以进一步细分为内部价值和外部收益,内部价值指的是企业自身生产、销售并使用数据资产所产生的价值;而外部价值则是指企业生产、销售数据资产给其他使用者所产生的收益。“以数据为主要内容和服务的可辨认形态”意味着只有当数
15、据以产品的形式存在,并且能够被明确识别和计量时,它才能被正式确认为数据资产,数据产品不仅是数据资产化过程中的产物,也是衡量和确认数据资产价值的重要标准。(二)数据资产管理含义(二)数据资产管理含义中国信通院数据资产管理实践白皮书 6.0:数据资产管理是指对数据资产进行规划、控制和供给的一组活动职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理须充分融合政策、管理、业务、技术和服务,确保数据资产保值增值。数据资产的管理和利用是数据资产的重要环节,它决定了数据资产的价值能否得到充分的发挥和提升。数据资产的管理和利用涉
16、及到数据的生命周期的各个阶段,包括数据的采集、存储、清洗、挖掘、整合、分析、展示、交易等。通过数据资产管理,企业可以更好地理解和利用数据,将其转化为企业的战略资产,进而推动业务创新和价值提升。数据资产管理包含数据资源化、数据资产化两个环节,将原始数据转变为数据资源、数据资产,逐步提高数据的价值密度,为数据要素化奠定基础。图 6 数据资产管理架构袋鼠云数据资产管理白皮书8数据资源化的核心在于将数据从原始状态转化为有价值的资源,是数据资产化的必要前提。涉及到从原始数据的采集、存储到后期的加工处理,包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动
17、职能。这一切工作的目的,是将杂乱无章的原始数据转化为可识别、可管理、可利用的资源,为数据的进一步加工和应用打下坚实基础。通过数据资源化,企业可以更加深入地了解用户需求、市场趋势和业务运营情况,为决策提供有力支持。数据资产化是将数据资源转化为可量化、可交易的资产的过程,这一过程能够充分挖掘并释放数据资源的潜在价值。其核心目标在于扩大数据资产的应用范围,明确数据资产的成本与效益,并在数据供应方与消费方之间构建一个良性反馈闭环。在此过程中,企业需对数据进行评估、定价和交易等关键操作,以实现数据的商业化和市场化。数据资产化涉及的主要活动包括数据资产的流通、运营、价值评估、建立交易规则以及监管机制的构建
18、。数据资产化不仅标志着数据从静态资源向动态资产的转变,也意味着数据内容和形式的全面升级。通过这一过程,数据不再仅仅是一个静态的存在,而是变成了可以衡量、交易并带来收益的有形资产。图 7 数据资产化价值实现路径袋鼠云数据资产管理白皮书9袋鼠云数据资产管理白皮书10三、数据资产管理组成及其职责三、数据资产管理组成及其职责(一)数据资产管理框架概述(一)数据资产管理框架概述完备的企业数据资产管理体系,首先依赖于数据资产管理规划及机制等上层设计,其次基于数据资产管理职能,使用有效的数据资产管理工具,将数据转化为数据资产,从而把数据价值真正发挥出来。数据资产管理架构如下图所示:图 8 袋鼠云数据资产管理
19、架构图具体而言,数据资产管理包括数据开发、数据标准管理、数据质量管理、数据治理、数据资产评估、数据资产流通、数据资产运营、数据安全管理和数据消费九大版块,贯穿数据资产从生产到消费的全生命流程;数据资产管理工具包含数据开发平台、数据资产平台、数据共享平台、数据安全平台等,这些工具覆盖数据资产管理的大部分职能,处在不同阶段对工具的功能要求可能不尽相同。数据资产管理以厘清数据资产的成本与效益、扩大数据资产的应用范围为工作重点,并使数据供给端与数据消费端之间形成良性反馈闭环。(二)数据资产管理实施路径(二)数据资产管理实施路径1数据资产盘点1数据资产盘点从业务视角与技术视角出发,形成企业数据资产框架和
20、数据资产目录,支持建立全面覆盖的企业级数据资产地图,为数据资产“用什么”以及“如何用”奠袋鼠云数据资产管理白皮书11定基础。图 9 数据资产盘点路径数据资产盘点包含调研诊断、数据盘点、数据对标校正、分类分级、权责划分、数据资产目录建立六大环节。调研诊断:通常采用访谈或案头梳理的方式,对 IT 整体建设情况、业务系统数据情况进行调研,框定数据资产管理范围、聚焦目标。数据盘点:基于数据标准、数据管理制度、数据管理规范、数据平台工具、数据模型等盘点的内容及目标,梳理发现的数据问题,并整理归类,输出数据表清单、数据源接入方式、业务流程映表、数据字典等。数据对标校正、分级分类、权责划分:这三个步骤通常同
21、步、穿插进行,在保障数据准确的前提下,根据影响对象、影响范围、影响程度等维度,按照分类标准、重要程度对数据进行分类、分级;梳理数据资产分布及使用,明确数据项影响覆盖的相关部门,根据业务部门在数据产生、流转应用过程中的相关性,匹配各部门数据资产管理角色。数据资产目录建立:从业务流程和数据应用的视角出发,基于前几步中对数据资产的梳理成果,完善包含业务属性、管理属性的数据资产信息,形成数据资产报告和数据资产目录。需要注意的是,数据目录的建立工作需要企业分别从“横”、“纵”的视角关注数据目录的合理性与科学性。数据目录的“横向”管理主要是指数据的属性信息,一般分为业务属性、技术属性和管理属性信息。数据目
22、录的“纵向”管理袋鼠云数据资产管理白皮书12主要是指以数据应用场景的维度构建目录体系,以充分贴合业务人员的数据使用习惯、业务使用场景,帮助各类数据使用人员找数、知数、用数。与此同时,数据目录管理工作在保证数据信息准确、权限合规等管理要求的同时,还应保证目录底层数据的统一性与一致性,避免出现“多套”数据目录进而增加管理难度与成本。2数据治理2数据治理数据治理是对数据资产管理权力和控制的活动集合,它不仅仅是一套用工具组合的产品级解决方案,更是从决策层到技术层,从管理制度到工具支撑,自上而下贯穿整个组织架构的完整链条,以期通过持续的评估、指导和监督,确保富有成效且高效的数据利用,促进组织协作和结构化
23、决策,为企业创造价值。数据资产管理是数据治理的目标和结果。数据治理和数据资产管理是两个密切相关的概念,它们同构成了个完整的数据管理体系。数据治理是指在组织内对数据进行全面管理和控制的过程,旨在确保数据的准确性、完整性、一致性和安全性,以支持组织的决策和业务活动。而数据资产管理则是指对组织的数据资产进行有效管理和优化利用的过程,旨在最大化数据资产的价值和效益。根据多年的实践经验,袋鼠云认为通常数据治理可以遵循下面三种基本模式:模式一:自下而上,以数据架构为重,开展数据治理。模式一:自下而上,以数据架构为重,开展数据治理。这种模式重在数据架构,层层向上治理数据,至数据应用层。这种模式从底层数据切入
24、,基于现有数据基础,盘点、建设、治理、应用层层展开,对企业整体的数据思维、数据治理水平要求较高,通常适用于数据量重、业务应用轻大型技术型企业,或政府机构,或新建、自研系统较多的企业。模式二:自上而下,以明确的数据应用为重,开展数据治理。模式二:自上而下,以明确的数据应用为重,开展数据治理。这种模式即单点应用式,通常以现有应用需求为核心开展数据治理。聚焦各个业务领域的数据应用、数据治理需求,在有需求、有资源、有驱动力的前提下,按需组织推进数据治理工作。只有业务部门的深入参与才能做好数据治理,只有针对业务自身需求进行的治理,才能得到业务部门的认可和支持。模式二通常围绕数据应用的需求进行数据治理,比
25、如升级架构、更换平台等涉及数据应用迁移时,或聚焦监管、上报类等明确数据应用时,围绕数据应用进袋鼠云数据资产管理白皮书13行数据治理。模式二通常适用于数据应用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入相对较为简单,实践证明,大部分企业数字化转型初期会这种模式,慢慢探索企业的数据治理道路,这种模式有助于拉齐数据部门、业务部门的认知,提升企业整体数据认知,为未来数据治理的开展提供基石。模式三:大规划模式,从数据应用规划入手,治理现状,规划未来,基于数据资产的未来开展数据治理。模式三:大规划模式,从数据应用规划入手,治理现状,规划未来,基于数据资产的未来开展数据治理。这种
26、模式需要企业全面梳理业务的现状痛点及业务未来畅想,盘现状、规划未来,基于业务现在及未来的需求规划分析应用场景,在应用场景蓝图规划的范围内,全面的梳理数据的现状、规划数据的未来,针对蓝图规划中的数据需求,制定全方位策略,哪些需要新建系统、新购数据源?哪些需要现有数据系统升级,细化、标准化现有数据?哪些数据需求落地可行性较高?制定全面的规划体系,划分优先级,有节奏、有步骤地实现全面的数据治理。这种模式通常是企业的战略项目,由高层推进开展,对数据、业务协同性要求较高,整个过程涉及系统改造升级、业务流程优化再造,是企业全面升级的过程。图 10 数据治理三大基础模式组合模式一:模式一&模式二组合,即全域
27、数据治理+明确应用场景规划。组合模式一:模式一&模式二组合,即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用,可对冲底层数仓重建的部分风险,同时可有效地阐述数据价值,整体可行性较高。组合模式二:模式一&模式三组合,即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理,业务、数据全面覆盖,返工重建风险小,同时有助于推动业务系统、数据全面升级,业务价值较高,但对组织协袋鼠云数据资产管理白皮书14同要求高,且成本投入高、耗时久,对执行团队要求高,复合型人才需求大,属于高风险高收益模式,需要企业高战略、高执行的推进落地。图 11 数据治理组合模式数据治理在一定程
28、度上是对数据资产管理的细化,它通过明确相关管理组织、工作责任和管理流程来确保数据资产能长期有效、可持续地得到管理,进而使企业获得高质量的数据。数据治理旨在提高数据质量、促进数据一致性和集成、加强数据安全和隐私保护、支持合规性和风险管理、提升决策效能,以及提升数据资产的价值。通过有效的数据治理方案实施,组织实现更好地管理和保护数据资产,实现数据驱动决策和业务创新的目标。3数据资产评估与入表3数据资产评估与入表(1)数据资产评估)数据资产评估数据资产评估是指通过构建价值评估体系,计量数据的经济效益、业务效益、投入成本等活动。数据资产评估是数据资产管理的关键环节,是数据资产化的价值基线。目前数据资产
29、评估方法总体可分为货币度量方法及非货币度量方法两类,其中货币度量方法以传统资产评估方法为代表,主要包括成本法、收益法、市场法及其衍生方法。各评估方法的适用对象和可行程度存在差异。对于成本法,因成本难分摊,其适用对象是企业全部数据资产而非特定数据产品,测算结果是数据资产管理的总体投入成本。对于收益法,其适用对象是特定数据应用场景下的数据产品,测算结果是引入数据资产所带来的业务效益变化。市场法则以数据定价和数据交易为主要目的,其适用对象同样是单一数据产品,通过对比公开数据交易市场上相似产品的价格,对数据产品进行价格调整。袋鼠云数据资产管理白皮书15目前,由于数据要素市场正处于初期的快速发展阶段,在
30、具体估值过程中,市场法指标的采集来源可能会因此受限。因此,企业在当前阶段可结合数据应用、数据成本管理等工作成果,优先围绕成本法、收益法开展数据价值评估工作,探索企业数据价值评估实践路径。企业可以以数据资产评估为起点,将“价值管理”作为数据运营的目标之一,明确数据资产价值构成,形成数据价值链,理清数据预期经济收益的范围和来源,并为深化数据赋能业务、产品定价、数据入表、交易流通奠定基础。(2)数据资产入表)数据资产入表数据资产入表的专业术语为“数据资产会计核算”,这一过程是指将数据正式确认为企业资产负债表中的“资产”项目。换言之,数据资产得以进入资产负债表,从而在财务报表中真实反映其内在价值及对企
31、业业务的实际贡献。数据资产在企业数据资源相关会计处理暂行规定出台后,企业现在可以将这部分满足条件的数据资产在资产负债表的相关科目进行列报和披露。在编制资产负债表时,企业需要根据重要性原则和实际情况,决定在无形资产或存货项目下列报数据资产。具体的列报方式取决于数据产品的权属是否发生转移。数据资产入表不仅有助于提升公众对数据要素的认识与理解,更能推动数据要素的交易与流通,从而对数据交易所提出更高的合规性和便利性要求。这一举措无疑为数据要素市场的繁荣发展注入了新的活力。图 12 数据资产入表路径袋鼠云数据资产管理白皮书16第一步:合规与确权第一步:合规与确权数据资源的合规与确权是数据资源入表的首要步
32、骤。数据合规梳理:数据合规梳理:企业应遵循中华人民共和国数据安全法中华人民共和国个人信息保护法 中华人民共和国网络安全法关于构建数据基础制度更好发挥数据要素作用的意见、各省市行业数据安全管理办法等现行有效法律、行政法规和规范性文件,从数据来源、数据内容、数据处理、数据管理及数据经营等五个主要维度对待入表的数据资源进行梳理,查缺补漏,建立企业数据合规管理机制,确保数据资源的合法、合规。数据授权梳理:数据授权梳理:数据权属是数据资源入表绕不开的重点,完善的数据资源授权链条是企业进行数据资源入表的前提。在进行数据入表前,企业应基于数据资源来源,梳理其完整授权链条。如企业自行采集个人数据时,应获得数据
33、主体的恰当授权;企业采买个人数据时,应获得数据供应商及数据主体的恰当授权。同时,企业应建立数据权属监督管理机制,日常维护数据资源的权属变更情况,如企业获取数据授权存在期限,应在资产使用寿命估计中予以合理反映和披露。综上,企业应当建立健全符合其自身特点的数据合规及产权管理制度,确保数据来源合规、隐私保护到位、流通和交易规范、分级授权合理,理顺数据资源产权关系,为实现数据资源会计入表扫清前置法律障碍。第二步:有效治理与管理第二步:有效治理与管理企业应尽快建立相应的数据资源管理体系,统筹相关数据基础工作,盘清数据资源家底,为后续持续可靠的会计计量和披露提供底层保障。这一部分就是涉及到前文提到的数据资
34、产盘点、数据治理相关的内容了,不赘述。第三步:预期经济利益的可行性分析第三步:预期经济利益的可行性分析结合企业不同的数据资源分类、业务交互需求和商业应用场景(数据产品和服务)分类,通过建立企业内部数据资产价值评估体系,采用货币化度量业务应用场景价值与数据资源取得成本的方式,开展对相关数据资源相关经济价值的衡量、数据资源投入产出效益的评价,夯实经济利益的分析基础。袋鼠云数据资产管理白皮书17作为推动数据资源入表的必不可少的重要环节,数据资产评估是保障数据资产价值可靠计量、准确披露的关键手段,也是探讨科学公平确定不同主体间数据资源收益分配的基础。第四步:相关成本的合理归集与分摊第四步:相关成本的合
35、理归集与分摊数据资源的成本不仅仅包含外购过程中发生的购买价款、相关税费,还可能包括数据合规成本、治理成本、权属鉴定、登记成本以及需要分摊的间接成本等。数据资源典型的特征是具有伴生性,如何进行合理的成本分摊以确保数据资源成本的完整性是当前的实务难点。在数据资源相关成本归集与分摊过程中,企业业务运营成本与数据产生成本往往难以明确区分,例如,信息系统在支撑主业经营的同时也产生经营数据,业务支撑成本与数据资源产生成本应如何进行界定和区分。如果企业期望实现数据资源的会计“入表”,则必须满足“成本能够可靠地计量”的前提条件。企业需要提前规划,形成准确的数据血缘图谱,厘清数据资产化过程所占用的企业资源,配套
36、建立统一、合理的数据资源的成本归集与分摊机制,并最终通过信息化途径进行落地。第五步:列报与披露第五步:列报与披露适当的披露有利于将企业已经费用化的数据投入显性化,将企业的隐形价值可视化、透明化,有利于驱动企业价值的提升。此外,对数据资产评估的估值参数、假设与模型的披露要求,也将倒逼企业建立更加精细的内部管理流程,帮助企业厘清数据资产价值的构成、来源和实现方式。4数据共享与开放4数据共享与开放数据共享与开放均为实现数据资产化重要方式。在数据治理-工业企业数字化转型之道中的解释是:数据共享主要指的是面向企业内部的数据流动,其中由数据应用单位提出企业内部跨组织跨部门的数据获取需求,由对应数据供给单位
37、进行授权并由信息部门向该数据应用部门开放数据访问权限。而数据开放则指企业向政府部门、外部企业、组织和个人等外部用户提供数据的行为。采用通用数据标准和互操作性较高的系统,这简化了跨不同平台和系统的数据集成,使袋鼠云数据资产管理白皮书18数据共享更加高效。企业通过开展数据资产的内部循环与外部流通,运用数据分析与挖掘获取新的信息,在企业内部形成数据流转与共享,在企业外部为社会提供数据资产的价值,也同时为企业谋取创新型的收益,实现数据的增值。图 13 数据资产流通数据资产管理的推进和规则的建立可促使数据共享活动更为顺畅,使得数据共享和开放带来的价值变现过程中数据权属的争议减少、分歧逐步弥合。比如,在企
38、业试图获得个人用户共享数据使用权时,用户可以与企业进行合理的交易协商,在达成符合双方预期的情况下处分自己所享有的数据价值变现权利,实现双赢。同时,企业从用户或者政府侧取得数据后,需要对收集数据做进一步深度分析与处理,得到的数据产品、数据分析结果也将经历数据共享过程。企业利用数据产品优化自己经营模式、调整商业战略活动的同时,也可将其作为产品销售给其他企业,形成良性循环的闭环。公共数据流通体系建设的首要前提是合规。这需要我们建立一个清晰、完整的法规框架,明确数据产权、数据流通交易、收益分配及安全治理等关键问题。国家数据局已明确提出,加快推进数据产权、流通交易、收益分配、安全治理等制度的建设是当前的
39、紧迫任务。各地政府已经出台的公共数据开放管理办法和试点方案,也为合规流通提供了操作指南。2023 年 8 月 24 日,上海市经济信息化委于印发了上海市公共数据开放2023 年度重点工作安排,围绕经济、生活、治理各领域 40 个应用场景深入开展公共数据开放赋能行动,旨在推动上海城市数字化转型全面深化,实现场景公共数据有需必应,提升本市公共数据开放水平。2024 年 1 月 11 日,财政部发布关于加强数据资产管理的指导意见,明袋鼠云数据资产管理白皮书19确数据的资产属性,提出依法合规推动数据资产化,平等保护各类主体数据资产合法权益,鼓励公共服务机构将依法合规持有或控制的、具有资产属性的公共数据
40、资源纳入资产管理范畴,进一步创新数据资产管理方式方法,加强数据资产全流程管理,严防数据资产应用风险等,更好促进数字经济高质量发展。5 月 20 日,国家发改委等四部门印发关于深化智慧城市发展 推进城市全域数字化转型的指导意见,从全领域推进城市数字化转型、全方位增强城市数字化转型支撑、全过程优化城市数字化转型生态等 5 个方面提出 13 项具体举措。指导意见提出,构建数据要素赋能体系。加快推进数据产权、流通交易、收益分配、安全治理等制度建设,促进数据要素高效流通和使用。加快完善省、市两级政务数据平台,整合构建全国一体化政务大数据体系。有序推动公共数据开放。这些政策的实施,一方面能够推动数据的更广
41、泛、更深层次的开放,赋能治理、经济、生活各领域城市数字化转型;另一方面,也有利于提升数据质量,实现并保持开放数据按时更新,持续开展数据质量维护。随着市场运行机制的逐步完善,政府、企业及个人间在协商数据共享和开放时便有法律和制度上的参考和依据,进而实现数据资产化的快速推进。5数据消费5数据消费数据消费其实就是传统认知中的“用数据”,即摆脱以个体经验为标准的判断模式,转而用更客观精准的数据完成决策并追踪业务发展,让更多的业务线与员工科学决策,最终实现数据赋能业务。数据消费一方面能够为企业的业务应用层提供准确且高度标准化的数据,支撑业务决策科学、敏捷行动;另一方面,它又能从前台业务源源不断地汲取新的
42、数据,丰富数据资产,并倒逼企业在数据资产层不断优化数据质量、提升研发效率,实现数据基建能力的升级。数据消费活动体现在智能决策、数据分析、数据应用开发、数据超市等应用方面,基于客观精准的数据,让企业的经营决策更加科学、高效,带来多方面的价值:决策支持决策支持袋鼠云数据资产管理白皮书20企业可以借助数据分析和挖掘技术,利用数据资产为企业的决策提供支持。例如,企业可以利用市场数据、销售数据、客户数据等来分析市场趋势、预测销售情况、了解客户需求等,从而制定更加科学、有效的决策。优化运营优化运营企业可以利用数据来优化运营流程和业务模式,提高效率和降低成本。例如,企业可以利用生产数据、物流数据等来优化生产
43、流程、物流配送等,从而提高生产效率和降低运营成本。提升客户体验提升客户体验企业可以利用客户数据来了解客户需求和行为,提供更加个性化、贴心的服务和产品,从而提升客户体验和忠诚度。例如,企业可以利用客户购买记录、浏览历史等数据来推荐个性化的产品和服务,提高客户满意度。创新业务创新业务企业可以利用数据来发现新的商业机会和业务模式,从而推动业务创新和拓展。例如,企业可以利用市场数据、技术趋势等来发现新的市场机会和业务模式,从而拓展业务范围和增加收入。提高竞争力提高竞争力企业可以通过数据分析来提高其竞争力和市场地位。例如,企业可以利用竞争对手数据、行业趋势等来了解市场动态和竞争对手的策略,从而制定更加有
44、效的竞争策略。袋鼠云数据资产管理白皮书21袋鼠云数据资产管理白皮书22四、数据资产管理工具四、数据资产管理工具随着数据的重要性日益显著,数据资产管理成为激发组织数据要素活力、加速数据价值释放的关键,数据已成为新一轮科技革命和产业变革的核心要素,对于构建现代化经济体系具有至关重要的作用。其中平台与工具意味着生产力,是开展数据资产管理不可或缺的底层基石,通过一体化的系统框架体系,集中对数据进行收集与整合、提取与管理、数据监控运维与服务运营以及对数据进行安全保护,不仅将传统数据管理工具各个组件进行了整合,更是将其进行打通与融合,通过自动化的方式对数据进行全面的管理、保护和利用,提高数据的质量和价值,
45、实现数据在平台上的有效运转。一个支持不断演进、灵活、解耦、可扩展、自主可控并获得安全授权的平台框架显得尤为重要,以下是袋鼠云数据资产管理工具架构:图 14 袋鼠云数据资产管理工具架构(一)数据开发(一)数据开发数据开发强调“先设计、后开发、先标准、后建模”的原则,其目标就是将数据治理 的流程与数据开发的全生命周期相融合,在数据开发过程中完成数据治理。通过数据标准的定义实现“规范即设计,设计即开发,开发即治理”的开发治理一体化理念。通过元数据管理、数据标准规范设计、数据质量提升、数据热度 和成本计算,优化数据生产成本、量化数据收益价值,广泛应用于数据中袋鼠云数据资产管理白皮书23台建设 的中后期
46、阶段。平台覆盖了日常数据治理过程中的核心资产管理模块。1离线开发离线开发离线开发平台是数据中台中的基座,包含全链路的数据集成、数据开发、周期调度、任务运维、监控告警等功能,具备灵活的多集群、多引擎对接能力。采用先进的大数据生态底层技术,通过 Hadoop 等开放的体系架构提供离线计算框架,具备高性能且功能丰富的大数据处理能力,可以最大化地萃取数据价 值,完整实现数据应用的闭环。在提供开发环境和平台接口的同时,对大数据离线计算、数据仓库建设、企业图谱等多种应用提供有效支撑。同时还拥有多项自 研核心技术,帮助企业快速完成数据中台离线计算部分的建设,加速释放数据价值。支持更规范、更快捷的建模方式,基
47、于数据标准,实现可视化、配置化的的建表建模及审批等流程管控。开发人员除了进行数据同步和数据开发之外,还需要保证平台能够周期性正常产出数据。绝大多数的离线任务都是周期运行的,任务中的错误代码、节点运行异常等问题都会导致任务失败,因此需要运维中心来监控每个任务的运行情况,并记录每个任务的运行日志,协助开发人员排查各种异常问题。离线开发平台运维中心主要功能包括重刷历史数据、管理任务实例、监控告 警。对任务指定多种异常状态进行告警发送,自动监控每个任务的运行状态并汇 总显示,自动统计最近一段的任务运行情况,汇总易出错的任务、耗时较长的任 务,协助用户排查代码质量、平台运行情况。在项目管理中可开启任务运
48、行情况报告,定时发送指定人员。以下是袋鼠云离线开发平台的主要特点和优势:1.开放兼容的开发环境,广泛支持多类型多版本的底座,包括开源/商用的Hadoop(CDP、TDH、MRS 等)、RDBS 类引擎(包括 Greenplum、GaussDB、Oracle 等)2.海量的异构数据同步,自研分布式同步引擎 ChunJun,可在多种异构数据源之间进行海量的数据同步,可视化的页面封装帮助用户便捷地完成数据同步任务配置袋鼠云数据资产管理白皮书242实时开发实时开发实时开发平台,面向实时数仓构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。基于先进的Chu
49、njun 计算框架,具备高性能且功能丰富的大数据实时处理能力。计算处理延时最低可达亚秒级别,并提供丰富的 Metric 运维监控曲线和日志功能。并且计算引擎(Chunjun1.10/Chunjun1.12)和调度引擎(Yarn/K8S)支持根据实际进行调整,从而快速实现实时智能推荐、IoT 传感信息分析、实时反欺诈等场景,助力企业搭建实时数据处理平台。在传统的实时开发过程中,每个任务需要开发任务临时映射 Flink Table,相关内容无法沉淀并且重复开发。Flink 建表可赋能实时开发平台,一次创建重复使用,并可结合数据权限管理保护数据安全,支持 Kafka2.X、Kafka_0.10、My
50、SQL、Oracle 数据源类型,通过映射 Kafka 字符串和 RDBMS 表结构,转化为 FlinkTable 的表结构。以下是袋鼠云实时开发平台的主要特点和优势:1.流批一体,一个实时任务即可实现全/增量数据采集开发的自动切换和无缝衔接,降低开发成本的同时又能满足多种数据处理场景2.数据还原,实时采集时自动还原上游数据和数据结构,缩短实时处理链路,有效减少实时任务的失败频率和数据清洗成本3.湖仓兼容,支持数据的实时入湖、入仓,为下游数据分析提供更近实时的数据基础,极速响应业务需求4.实时全链路,平台集成 Kafka 管理,并且覆盖实时采集、实时开发、实时运维全流程链路,一站式满足实时计算
51、需求(二)数据资产(二)数据资产数据资产平台,作为一款一体化的数据资产管理工具,通过制定元数据模型、数据标准等规范,采集并维护完整的元数据信息,打通数据关系网络,实现数据的标准化和资产化管理,并可通过规则配置监控数据质量、推动数据治理,搭建起服务于数栈平台的企业级元数据中心,盘点企业数据资产,为数据价值挖掘提供“全、统、通”的元数据基础。袋鼠云数据资产管理白皮书25图 15 数据资产管理平台架构图1资产盘点1资产盘点资产盘点从全局视角汇总了平台内的数据资产,包括已接入的数据源、数据地图分布、数据目录分布、存储资源情况、数据价值分析、元数据变化趋势等。企业可通过资产大盘分析整体资产的变化趋势、分
52、布情况、价值排行、存储占比等信息,全面了解数据资产的整体情况,为管理层提供资产可视化入口,辅助管理层制定建设方向决策。袋鼠云数据资产管理白皮书26图 16 数据资产盘点2元数据管理2元数据管理(1)数据地图(1)数据地图数据地图是平台统一的元数据查询入口,所有采集维护的元数据信息,均可以通过数据地图模块进行查询。数据地图汇总了企业的所有资产化数据,包含数据库表、开发任务、指标、标签、API等多种类型的数据资产,为用户提供一个统一、完整、便捷的元数据查询门户,支持多种搜索模式、过滤条件,快速定位元数据,可同时根据查询结果,不断发现元数据缺失情况,反哺推进元数据的维护工作。图 17 数据地图(2)
53、元数据同步(2)元数据同步元数据同步通过创建同步任务方式对具体库表进行元数据信息采集,提供周期同步、实时同步、自动同步三种同步方式。袋鼠云数据资产管理白皮书27图 18 新增同步任务(3)元模型管理(3)元模型管理元模型是对元数据标准的规范约定,定义了每张表需要维护哪些元数据信息,对元数据信息进行更规范管理。完成元数据采集后,可根据具体业务需求,进行元数据的规范化管理,提升数据资产化的质量。可通过线下和各数据源负责人沟通元数据缺失情况,探讨元数据模型设计规范,列举出每类数据源需要维护的元数据项并录入平台。(4)元数据管理(4)元数据管理通过元数据管理,用户可以基于元模型设计的规范约束,维护表的
54、业务元数据信息,更规范的维护元数据信息,便于后续的元数据信息查询和利用。袋鼠云数据资产管理白皮书28图 19 元数据管理(5)血缘分析(5)血缘分析通过血缘分析能力,企业可及时发现一些肯定存在血缘关系,但是血缘关系缺失的表。如数仓下游层级的表、BI报表等。企业可设置需要监控血缘关系的数据库信息,平台会根据血缘sql解析的解析结果,统计库中血缘孤立的表,辅助企业监控数据资产质量,优化资产存储空间。3数据标准3数据标准建立数据标准可对存量数据进行后向管理,映射至已有元数据上,统一字段标准;对增量数据进行前向管理,利用数据标准进行建模,使模型字段更加规范统一。平台提供词根管理、码表管理、行业模板管理
55、、数据库拾取管理、标准定义、标准映射等功能。全局统计分析该模块的数据标准、码表、词根,包括看板统计、标准热度、标准目录分布、标准新增趋势、标准来源分布。图 20 数据标准4数据模型4数据模型数据模型主要面向设计,融合了数据治理理念,把数据治理推进到开发流程袋鼠云数据资产管理白皮书29中,进行开发态的源头治理,利用数据标准进行标准建模,解决了标准落地的难题,从根本上控制企业增量的数据质量问题。数据模型提供了更规范、更便捷的建模方式,基于数据标准,实现可视化、配置化的建表建模及审批等流程管控,支持对Hive、MySQL、Inceptor、ADB pgsql、StarRocks等多种类型数据库的规范
56、建表。图 21 向导化建表-基础信息图 22 向导化建表-表结构5数据质量5数据质量通过对数据进行质量校验,可帮助企业及时发现数据问题。采用事前规则配袋鼠云数据资产管理白皮书30置、事中规则校验、事后分析报告的流程化方式,对数据的完整性、准确性、规范性、唯一性、一致性等方面进行多维度评估,保障企业数据质量服务。(1)规则配置(1)规则配置提供单表校验、两表比对以及规则集配置多种配置方案,便于用户进行检查规则的制定。图 23 数据质量规则配置(2)任务管理(2)任务管理对每个规则的运行结果进行记录,可统计每次规则运行的结果值,生成曲线趋势图,直观展示数据质量的变化情况。对于校验未通过的规则,可预
57、览/下载问题数据明细。袋鼠云数据资产管理白皮书31图 24 数据质量任务管理(3)质量报告(3)质量报告提供单表校验的表级质量报告分析,统计展示表质量评分、质量分值变化趋势、质量评估概览、近期规则校验异常明细、近期校验结果等信息。图 25 数据质量报告(4)脏数据管理(4)脏数据管理平台会存储记录不符合规则的明细数据,通过该功能,用户可指定该数据的独立存储库和存储时效,与源库隔离。袋鼠云数据资产管理白皮书32图 26 脏数据管理6数据治理6数据治理数据治理可持续监控平台使用过程中数据存储、任务计算、代码开发、数据质量、数据规范、数据价值等维度存在的问题,并通过资产健康分的量化评估,从全局、项目
58、、个人多个视图角度呈现治理成果,推动企业完善数据规范、优化数据质量、节约资源、降本增效,帮助企业高效达成治理目标,让数据资产发挥价值。(1)治理概览(1)治理概览数据治理成果总览以全景视图、项目视图、个人视图多个视图维度汇总展示治理概况,展示内容包含项目数量、任务数量、数据表数、待治理项数、资产健康分、分值变化趋势、治理项变化趋势等内容,便于企业全方位了解治理概况。袋鼠云数据资产管理白皮书33图 27 数据治理概览(2)治理工作台(2)治理工作台搭建数据治理工作台,治理工作台可支持发起治理任务,并展示待处理的问题,处理方式建议,处理责任人及进展等,实现数据治理问题处理流程闭环,对数据治理过程的
59、全生命周期进行管理。图 28 数据治理工作台(3)治理配置(3)治理配置平台提供治理规则配置管理,可从计算、存储、质量、规范、价值五个维度袋鼠云数据资产管理白皮书34进行配置,通过制定不同维度的治理规则,帮助企业优化存储成本、避免资源浪费、提升数据质量、推动标准规范,实现数据价值。(4)代码检查(4)代码检查平台内置一些基础的SQL代码检查规则,也支持用户自行开发SQL检查jar包上传,开启后可针对离线任务进行SQL规范性检查,针对不同类型的不规范SQL进行禁止运行/提交或提示等操作。(5)小文件治理(5)小文件治理针对hive易出现的小文件问题,平台支持进行数据文件治理,通过配置文件治理规则
60、可实现周期/一次性的小文件合并,并直观地看到治理效果,提升hive/SparkSQL的查询效率。图 29 文件治理规则(三)指标资产(三)指标资产指标资产可视作数据资产的一种特定应用或衍生形式,是从狭义的数据资产中提取的、具有高度决策相关性的信息精华。指标资产指的是那些用来衡量组织绩效、市场状况、项目进展或特定业务领域的关键量化指标。这些指标通常基于底层数据资产计算得出,例如财务比率(如利润率、资产负债率)、运营指标(如客户流失率、转化率)、市场指标(如市场份额、品牌知名度评分)等。指标资产的形成有助于将大量复杂数据简化为可度量的关键点,便于管理层快速理解组织状态,指导决策。而指标资产管理则侧
61、重于如何选择、定义、计算、袋鼠云数据资产管理白皮书35监控和利用这些指标来驱动业务优化和战略执行。袋鼠云提供的指标管理平台(DataIndex),是一个一站式指标开发管理平台。作为一个整合性的指标管理解决方案平台,DataIndex 无缝融合了从指标的标准化定义到标准化开发落地的全过程,通过消除数据解释的歧义,平台成功架设出业务与技术沟通的桥梁,减少两者之间的理解成本,为构建企业范围内的数据指标体系奠定了坚实基础,同时助力企业积累宝贵的指标知识资产。此外,平台提供上层的综合查询、共享服务、取数分析等应用,有效提升了用户获取、消费指标数据的及时性与有效性。通过构建高度针对性的业务分析场景,平台确
62、保指标的精确应用,为决策过程提供了精准的辅助信息,使企业决策更加科学、高效。平台产品架构如下:图 30 指标管理平台平台整体基于先进的大数据底层生态技术,支持 EasyMR、CDH、TDH、HDP、Hive、Trino 等大数据存储计算引擎,平台覆盖了指标的生产开发、发布下线、计算落地、分析应用等全周期的管理过程。目前主要包括指标市场、指标开发、运维中心、指标应用等核心模块。指标市场模块汇集所有发布的指标,用户可根据指标元数据信息快速精准地检索所需指标,根据指标更新情况、应用情况、血缘依赖等及时掌握指标的动态,把控指标资产的全生命周期。指标中心模块作为指标生产场所,主要面向管理人员、相关的技术
63、人员及有袋鼠云数据资产管理白皮书36一定技术能力的业务人员使用,提供指标的开发和管理能力。通过指标中心,企业可以标准化的快速准确地搭建指标体系,在线开发指标,迭代指标资产,为上层指标市场的指标资产沉淀提供数据基础,同时也提供了相关的安全配置内容,全面保障指标的质量和安全。运维中心模块负责管理平台生成的所有指标任务,保障指标计算结果的正常产出,及时发现问题并解决问题。平台内置的调度引擎可以有效保障指标周期性计算任务的正常运行,针对重点指标,可以通过告警监控,及时发现问题解决问题。指标应用模块是指标资产的上层应用中心,针对现有的指标资产,可一键生成指标 API,提供数据服务。同时可在线基于指标做结
64、果查询,实现对业务的有效支撑。产品有如下核心特性及优势:1一站式指标管理一站式指标管理覆盖指标管理从定义、开发、调度、落地、发布、应用的全过程,提供一站式的指标开发服务,通过平台能够实现指标管理中的各个过程,落地指标管理全流程,统一指标管理规范,沉淀指标资产。2双视角精准服务双视角精准服务针对传统指标开发过程中,技术和业务不互通的情况,平台会分别提供面向业务人员和技术人员双视角的指标管理服务:面向业务人员提供指标数据查询能力面向业务人员提供指标数据查询能力通过指标市场功能,快速查询获取指标的全部信息,掌握指标动态。袋鼠云数据资产管理白皮书37图 31 指标市场 面向技术人员提供指标开发运维能力
65、面向技术人员提供指标开发运维能力通过指标开发功能,方便技术人员在线开发指标,并且支持发布已经开发完成的指标到指标市场中。图 32 指标开发在平台上,技术人员在线开发完成指标,发布后,业务人员就能在指标市场中查询获取到,并且可以一键掌握指标所有相关信息,不管是基本信息、技术信袋鼠云数据资产管理白皮书38息、还是血缘分析或者版本记录信息,均能够通过平台清晰准确地获取到。3规范化指标体系建设规范化指标体系建设平台提供指标开发功能的同时,也搭建了一套基础的指标管理方法论,即通过指标的分类,结合指标的开发方式,将指标开发按照指标类型分为原子指标、派生指标、复合指标、自定义指标四种,同时基于指标开发方式将
66、指标开发分为基于模型开发、基于指标开发、自定义sql开发三种方式,通过指标类型与指标开发方式的结合,搭建企业标准指标体系。用户在平台上基于这一套方法论开发指标,不仅降低了技术门槛,也沉淀了标准的指标资产。图 33 指标分类4可视化轻代码开发可视化轻代码开发针对指标开发,平台提供了可视化的操作配置界面,简单快速配置指标生成技术口径,降低指标开发的技术门槛,让不懂SQL的用户也能够根据业务逻辑,实现指标的开发生成:向导式配置方式向导式配置方式整体的开发指标方式,均采用向导式配置方式,用户更多的是去下拉选择,点击输入相关的配置信息,生成指标。袋鼠云数据资产管理白皮书39图 34 指标开发向导 可视化
67、拖拉拽可视化拖拉拽基于现有的指标,提供可视化的画布操作界面,用户可以直接基于自己对业务逻辑的理解和需求,选择现有的指标拖动到界面中,拼接指标计算公式形成新的指标,平台会自动根据页面配置的逻辑生成指标的技术口径,全程无代码即可生成指标,满足多样化的指标配置场景,降低技术开发成本。图 35 可视化开发袋鼠云数据资产管理白皮书405自动化上下游血缘解析自动化上下游血缘解析自动解析指标上下游血缘链路,通过可视化图谱的方式,简洁直观地展示指标的血缘关系,为指标溯源、问题定位、指标影响力评估提供数据基础。图 36 自动解析指标血缘此外,对于业务场景发生变更的情况,修改上游指标后,下游指标也会同步更新,保证
68、任务正常有序运行。6灵活的目录设计灵活的目录设计提供自定义的多级目录设计,支持用户根据实际的业务情况在线进行数据分类,制定贴合实际使用场景的多级目录,规范化管理指标的分类,方便使用时快速地定位到对应的分类目录,满足不同的业务场景。7全面的业务管理全面的业务管理平台提供统一的维度管理方式,所有指标通过维度对象、维度属性的维度体系对指标维度进行管理,系统可自动识别指标间维度的一致性,业务人员也可轻松对指标进行维度聚合分析。平台也提供统一的业务限定场景管理,指标加工过程可直接依赖业务限定场袋鼠云数据资产管理白皮书41景进行条件过滤设置,提高指标加工管理的一致性,指标加工效率也可有效提升。8版本管理历
69、史留痕版本管理历史留痕平台维护了每个指标的历史版本记录,方便用户溯源获取历史版本的信息,了解指标变更的生命周期。同时支持选择任意两个版本在线进行差异性对比,方便用户直观地了解到版本差异。同时不仅支持基本属性、调度信息的差异对比,也支持SQL代码级别的差异对比。图 37 指标版本对比9周期性调度一键落地计算结果周期性调度一键落地计算结果在指标计算调度方面,平台基于自研的分布式调度工具,与指标开发模块无缝集成,用户仅需在指标配置页面配置其调度信息即可完成依赖和周期配置,且支持丰富的配置内容。配置完调度信息后,平台会自动提交对应调度任务到运维中心模块中,实现指标计算任务的周期性调度落地数据,目前在大
70、规模任务场景下周期性、依赖性的任务调度支持百万级别并发调度,能够充分满足数据指标计算的日常调度需求。袋鼠云数据资产管理白皮书42 可视化配置可视化配置提供Web化界面,快捷配置指标调度任务信息;图 38 指标配置向导 周期与依赖周期与依赖支持 DAG 模式的依赖配置查看,支持任务冻结、失败重试、任务实例失败时自动跳过策略。袋鼠云数据资产管理白皮书43图 39 指标依赖配置10及时监控及时告警及时解决及时监控及时告警及时解决针对指标的计算结果,平台提供相关的监控告警功能,用户可以基于业务场景在线配置告警规则,当指标结果出现异常时,通过短信、邮箱、钉钉等方式,及时接收到对应的告警信息,随时随地掌握
71、运行情况,及时发现问题,解决问题。袋鼠云数据资产管理白皮书44图 40 指标监控告警11多方位数据安全保障多方位数据安全保障针对指标平台功能模块,可个性化设置用户的查看/操作权限;针对指标的计算结果,平台提供行级权限控制,真正做到数据安全保障。(四)标签资产(四)标签资产标签资产是数据资产实现业务价值的另一重要资产表现形式,对原始数据进行业务化加工和封装后,形成标签资产。标签通常是易于理解的描述性信息,用于概括数据的特定特征或属性,比如用户行为标签(如“高价值客户”)、内容标签(如“新闻类别-科技”)等。建设标签资产是实现数据价值最大化、驱动业务智能化的关键步骤。标签资产是对数据资产的进一步提
72、炼和组织,它使数据资产更贴近业务需求,更容易被业务部门理解和应用,从而加速数据到价值的转化过程。它通过将海量数据转换为业务可理解的语言,增强数据的易用性和洞察力,促进跨部门数据共享,提升袋鼠云数据资产管理白皮书45决策效率与精准度,同时确保数据治理的有效性,为企业的数字化转型和持续创新提供了坚实的基础,支撑业务实现更深层次的业务洞察和决策支持,实现精准营销、用户画像构建、个性化推荐、风险评估等多种业务目标。在实践中,有效的标签资产管理策略包括建立标签类目来组织和分类标签,同时也会设计和实施标签体系,以标签资产的形式来增强数据的实用性和业务价值。通过搭建统一的标签管理平台,实现对标签资产的高效组
73、织、标准化定义、权限控制及生命周期管理,确保标签数据的质量与安全性,促进跨部门共享,加速数据到洞察的转化过程,赋能企业精细化运营与智慧决策。袋鼠云提供的客户数据洞察平台(UserInsight),通过标签萃取、标签管理、标签圈群、群组分析、全面画像等标签建设模块,构建以业务价值为导向的标签体系和多样化群组,将数据资产标签化,数据标签价值化,降低运营人员数据使用的门槛,减少业务需求的沟通和开发成本,应用于企业智能化运营与营销,落地数据价值。平台产品架构如下:图 41 客户数据洞察平台架构客户数据洞察平台基于实体-关系-属性构建以业务价值为导向的动态标签体系,完成标签定义-标签开发-标签发布-标签
74、更新-标签评估-标签下线全生命周期管理,并通过标签圈群实时圈定目标人群,进行群组分析与优化,提供数据服务,对接上层营销系统完成智能化运营与营销,落地数据价值。袋鼠云数据资产管理白皮书46图 42 标签生命周期1灵活简单生产标签灵活简单生产标签平台支持原子标签、衍生标签、组合标签、自定义标签 4 种类型的标签定义。图 43 标签定义支持多种标签数据生成方式,包括将字段直接映射为标签、界面化向导定义标签、编写SQL语句生成标签、导入文件创建标签,以此满足客户不同场景下的标签创建需要。袋鼠云数据资产管理白皮书47图 44 标签市场业务人员可通过平台完成标签的自助生产与维护,可以更加灵活的调整与管控标
75、签规则,赋能业务随需随取,从而降低标签生产与维护成本。开发层面的统一生成,以及业务层面的统一使用,可以保障企业有效实现标签建设的体系化与标准化,从而有效沉淀标签资产。平台根据标签配置关系自动生成对应任务及其依赖,保证任务的正常、有序运行。图 45 标签配置2标准化高效管理标签标准化高效管理标签标签管理是一个综合性的数据治理过程,它围绕数据实体定义、标签创建与分类、全生命周期监控、数据血缘追踪、版本控制、趋势分析及质量评估等核心功能展开,旨在构建统一、规范、高质量的标签体系,促进数据的易理解性、可信度及业务适用性,加速数据到价值的转化,为企业决策、运营优化及智能服务提供强有力的支持。平台提供的功
76、能涵盖实体管理以确保数据对象的准确界定。袋鼠云数据资产管理白皮书48图 46 标签实体管理在实体基础上,通过标签目录管理组织和分类标签,促进清晰有序的标签体系构建。图 47 标签目录标签建设的有效性需要依赖实体责任人、标签责任人对标签建设的有效审核把控,通过对标签的发布/下线、及其对应的审批机制,可以有效保障标签建设流程的规范性。图 48 标签发布基于标签加工过程可实现标签的血缘管理,通过追踪数据来源与流向,增强袋鼠云数据资产管理白皮书49数据透明度和可追溯性。图 49 标签血缘管理记录每一次标签统计规则的变化,可通过版本对比,掌握标签及其数据的变化情况。图 50 标签规则变化历史标签数据层面
77、,可以及时分析标签的实例覆盖分布情况及走势,掌握业务变化情况,及时调整标签规则保障标签的有效性。图 51 标签实例覆盖情况在上述标签管理能力建设的基础上,平台分别从使用情况、关注情况、持续优化情况、安全情况、质量情况 5 个角度,全方位评估标签综合价值。通过定期袋鼠云数据资产管理白皮书50检查标签质量与业务适配性,确保标签资产的有效性和业务价值的最大化。图 52 标签评分上述一系列功能彼此呼应,共同确保了标签资产的高效、有序和高质量管理,为数据驱动的决策提供坚实基础。3目标群组自助圈选目标群组自助圈选平台底层集成分析引擎OLAP查询,通过界面化向导的方式,根据“且、或”关系在实体的全部数据范围
78、内进行嵌套式标签圈群,最大支持 5 个层级的嵌套条件,满足用户自助、实时、快速圈定目标人群的需要,快速落地营销方案。平台支持生成动态、静态、实时 3 种群组类型,同时也可上传本地群组实现群组分析。整个过程业务人员可自主完成,降低业务人员数据分析的门槛。袋鼠云数据资产管理白皮书51图 53 目标群组自助圈选4群组全面洞察分析群组全面洞察分析平台提供全面的群组画像与个体画像分析能力,结合群组显著性、对比及交并差分析结论,企业可以进一步优化标签体系并实现更精准的群组投放,达到更理想的投放效果。平台从多个维度可视化呈现群组特性,通过可视化的图表 360掌握群组全景,实现用户行为与偏好的全面洞察。此外,
79、平台还可以让用户即时检索与深度剖析个体标签详情,进一步提升用户理解的深度与广度。通过对群组与总体人群的显著特征比较,以及不同群组间的异同探究,企业能提炼关键洞察,有效细分市场,优化策略,从而在数据驱动的营销活动中实现速度与精度的双重提升,推动业务增长与用户体验的革新。袋鼠云数据资产管理白皮书52图 54 群组全面洞察分析5安全高效提供数据安全高效提供数据在大数据产品的设计与实施中,确保数据安全与产品安全是核心考量因素,是运用标签进行精细化营销的基石。针对标签资产的特殊性质,平台采取了严格的访问控制策略,包括但不限于行级数据权限配置、敏感信息的自动脱敏处理,以及对标签数据查看与管理权限的精细化审
80、批流程,确保数据在不同使用场景下的安全合规。平台在实体管理、标签管理、群组管理、API调用等多个数据应用场景中做了标签级别的权限管控,并对标签在各方面的使用情况进行全链路监控,确保每一次数据交互都在安全框架内进行。此外,平台提供的任务实例监控、运行日志可视化及灵活的启停、告警机制,不仅强化了标签数据处理的透明度与稳定性,也为数据加工过程筑起了一道坚实的防线。平台提供的这一系列数据安全措施,不仅维护了数据的机密性与完整性,还保障了数据在流转与应用中的高效性和合法性,为构建安全、可信、高效的大数据生态体系提供了有力保障。(五)数据共享(五)数据共享袋鼠云数据服务平台定位于统一的企业数据资源“纵向贯
81、通”“横向互联”的共享通道,实现快速创建 API、企业级 API 市场管理、丰富的调用安全策略等,快速释放数据价值。支持可视化生成与注册 API,快速构建 OneService 数据共享服务,通过多种手段标准化管控服务,可完成从 API 创建、发布、申请/袋鼠云数据资产管理白皮书53审批、调用的全生命周期管控,形成企业级 API 市场和 API 服务管理平台,提高数据开发与共享效率。1API 生成与注册生成与注册生成 API 前需要先对接数据源,API 配置的数据源支持多种关系型数据库:MySQL、Oracle、SQLServer、PostgreSQL、DB2、KingbaseES8、Gree
82、nplum、Trino、Impala、Analytic DB、RDS、TiDB、Inceptor、Kylin、MongoDB、HBase、Redis、Phoenix 等数据源。数据服务目前已覆盖主流数据库,支持创建多种类型数据服务。API 注册支持将平台外部的 API 注册至 API 网关,可在数据服务平台进行统一管理。注册 API 支持 POST、GET、PUT、DELET、PATCH 请求方式,支持 HTTP/HTTPS、WebService 和 Socket 协议,可注册 JSON、XML、表单类型的 API。同时,也可对注册的 API 进行调用限流、调用次数、调用时间、缓存、IP 地址
83、黑白名单的限制。2API 管理管理API 管理者可对生成和注册 API 进行统一管理,进行 API 的发布,禁用、删除等操作。支持查看每个 API 的详情、版本、调用情况、订购情况、安全限制,了解每个 API 的使用及订购情况。3API 申请与调用申请与调用数据服务提供统一 API 市场。当 API 创建完成发布至 API 网关后,API 便上架在 API 市场,API 申请者可在 API 市场中查看各 API 的基础信息,申请自己需要的 API,API 有三种认证方式:API-TOKEN、USER-TOKEN 和 AK/SK签名。4API 测试测试API 测试为 API 发布前的一道保障程序
84、,在 API 生成后,API 管理者需进行 API 测试来保障 API 的可用性,防止出现申请者使用不可用 API 服务的情袋鼠云数据资产管理白皮书54况。5API 安全安全产品在数据安全的设计上有以下保障:(1)申请审批机制)申请审批机制产品采用 API 申请授权的流程化设计,在使用 API 前,需要进行 API 的申请,申请单中需明确 API 的调用次数限制和有效期。经过 API 管理者的授权审批后,申请者可查看 API 相关的调用信息,才可对其进行调用。(2)调用限流)调用限流API 在生成时,可设置 API 单秒/单分调用次数,保证 API 网关的稳定,限制高并发、防止恶意调用及攻击。
85、(3)熔断策略)熔断策略当 API 被下游服务因访问压力过大而响应变慢或失败,上游服务为了保护系统整体的可用性,可以暂时切断对下游服务的调用。这种牺牲局部,保全整体的措施。(4)黑白名单限制)黑白名单限制允许对 API 调用进行 IP 地址黑白名单的访问限制,允许特定 IP 地址访问或设置特定 IP 地址不能访问。(5)行级权限)行级权限支持建立行级权限标识,指定对应用户能访问的行级数据。袋鼠云数据资产管理白皮书55(六)数据安全(六)数据安全业务数据中可能会存在大量涉密的个人身份、金额等敏感信息,迫切需要建立完善数据安全管理制度和技术保护机制。近年来数据安全事件有增无减,无论是国家法律法规要
86、求还是企业自身需求,都驱动动其加强数据安全体系的建设。数据安全管理工具提供了数据权限管理、数据脱敏管理、数据分类分级功能,企业可以依据数据安全管理工具完成数据的规范管理,通过数据权限分层管控、数据分类分级规则制定、自动分级与人工稽核、数据脱敏应用等有效手段,防止数据泄露和滥用,从根本上强化数据安全性、保障数据合规。图 55 数据权限控制功能架构图1数据权限管理(平台层)1数据权限管理(平台层)(1)数据权限管理(1)数据权限管理平台层的数据权限功能为用户提供了权限分配、权限申请、权限审批、权限袋鼠云数据资产管理白皮书56回收、个人权限查看的全生命周期数据权限管理流程。支持以数据源、数据库、数据
87、表、表权限、行列权限的粒度进行数据权限(DDL/DQL/DML操作)的分配、申请、审批操作,目前支持对Hive、Inceptor、MySQL、Oracle、SQLServer、StarRocks、Doris等二十多种类型数据源进行数据权限管理。图 56 数据权限管理(2)数据脱敏管理(2)数据脱敏管理对于一些敏感数据,用户可以配置并应用相关脱敏规则,杜绝敏感数据泄露问题,更好的服务数据安全。用户在元数据或者数据资源中预览某张表的数据内容时,敏感字段数据会自动进行脱敏处理。2数据权限管理(2数据权限管理(Ranger 底层控制)底层控制)平台本身支持对接 Hadoop3.0+Ranger2.2
88、版本做底层的数据权限管控,同时开放支持对接用户本身使用的 Ranger 工具进行底层权限管控。(1)HDFS权限控制(1)HDFS权限控制支持对 HDFS 的数据权限做控制,支持对权限策略的增删改查,控制文件访问权限。袋鼠云数据资产管理白皮书57图 57 HDFS 权限控制(2)Hadoop SQL权限控制(2)Hadoop SQL权限控制支持对 Hadoop SQL 的数据权限做控制,数据源类型包括 Hive、Sparkthrift,可进行表级以及行列级别的权限策略管控及脱敏策略配置。图 58 Hadoop SQL 权限控制(3)Trino权限控制(3)Trino权限控制支持对 Trino
89、的数据权限做控制,可进行表级以及行列级别的权限策略管控及脱敏策略配置。袋鼠云数据资产管理白皮书58图 59 Trino 权限控制(4)Role设置(4)Role设置在权限策略很多的时候,会造成拉取变慢,影响 SQL 执行引擎的整体性能;客户端比较多的情况下,客户端插件同时拉取的时候,对 Ranger Admin 的压力也会很大,机器带宽也会成为瓶颈。通过Role的管理可降低policy的编辑频率,当用户范围变更时,无需编辑policy,只需调整role的范围就可以达到目的。通过Role去管理用户、用户组,将用户、用户组添加至Role中,配置好后可以将其添加至对应的策略中,支持对Role的增删改
90、查操作。图 60 Role 设置袋鼠云数据资产管理白皮书593数据分级分类3数据分级分类数据分类分级不仅是完善数据产权、规范数据交易的前提条件,也是维护数据安全的必要手段。通过数据分类分级,企业可以更准确地把握数据资产的核心价值,将高质量数据注入到业务流程之中。一方面,精准的数据分类让企业能够快速响应市场变化,提升决策的敏捷性和准确性;另一方面,恰当的数据分级有助于企业对关键数据进行重点保护和高效利用,加速产品研发、市场营销等领域的创新步伐。根据分类分级结果可对数据进行权限访问控制,如数据加密、数据访问权限等功能,来更好地管理和使用元数据。(1)级别管理(1)级别管理针对采集到的数据,从安全等
91、级和敏感等级两个维度对级别进行管理。首先管理员根据企业需求在平台进行安全等级和敏感等级定级,可定义级别名称、级别描述以及级别优先级。敏感等级对应数据隐私性,例如可按照国家指导标准分为自主保护级、指导保护级、监督保护级,对应不同重要程度的信息系统数据;安全等级对应数据级别和权限控制,例如可分为核心数据、重要数据、一般数据等,不同级别的数据可开放给不同的用户进行数据权限控制。表 1 数据级别确定规则表(2)自动分级(2)自动分级在完成了安全、敏感等级的维护之后,可根据行业分类分级要求配置分级规则。平台内置了通用的数据分类分级规则库配置入口,支持用户根据自身行业的特定需求和合规要求自主配置自动分级规
92、则,帮助用户快速达成数据分级。不同袋鼠云数据资产管理白皮书60行业、不同企业可以根据本身数据的敏感性和业务特点,定制最适合自己的数据保护策略。图 61 自动分级添加规则(3)查看分级数据(3)查看分级数据对分类分级成果进行汇总统计,为数据所有者、管理员提供一个直观、全面的视图,以便了解和掌握组织内数据按照敏感度、重要性等标准进行分级分类的总体状况。(七)数据消费(七)数据消费数据消费,意味着将数据作为商品进行流通,随着信息技术的迅猛发展,数据已经成为大数据的重要资产,具有巨大的商业价值和社会意义。然而,数据的孤岛现象日益严重,不同部门和机构之间的数据壁垒阻碍了数据的流通和共享,限制了数据资产的
93、充分利用。为了解决这个问题,数据共享门户应运而生,成为数据资产的共享消费平台,有效促进了数据的流通和共享,实现了数据价值的最大化。目前市面主流大数据平台面向对象基本为具有一定技术能力的数据开发人员,具有一定的技术门槛,业务人员无法直接操作和使用大数据平台。而业务人员许多天然存在数据诉求,例如财务、销售等岗位,需要较多的数据支持。传统的数据传输通过 OA 等办公平台进行诉求描述,传递给信息技术岗之后,通过人袋鼠云数据资产管理白皮书61工检索,加工等方式,以文档(EXCEL)完成数据传输。通过数据门户,可以有效统一规划数据资产的消费生命周期,从数据资产来源管理,至数据同步,通过数据权限等管控,最终
94、完成数据消费,打通应用数据的最后一公里。1数据门户建设数据门户建设数据门户概念庞大,袋鼠云从点出发,将其定位为一个下游轻量化产品,依赖于底层大数据平台。当前各个项目针对数据门户的诉求多变,市面的数据门户产品也较多,需要打造一个复用率高的数据门户产品,需要进行聚焦及配置化。(1)门户建设目标)门户建设目标针对目前市场主要业务痛点,数据门户的主要工作还是做好数据消费的概念。如何高效简洁的完成数据消费,就成了数据门户的主要目标。而需要配合数据门户完成数据消费的全流程支持,则需要进行整个数据消费周期的全方位管控。图 62 数据门户:数据消费新范式通过对接数栈,完成底层数据源管理,推动数据资产入表。同时
95、,进行数据编目管理,制定表类目标准,数据标准,数据应用。完成后,进行数据资产挂接,将数据资产挂接至编目下。在赋予权限后,引导业务人员,在数据门户进行消费申请,完成整个数据消费链路。袋鼠云数据资产管理白皮书62(2)底层引擎支撑)底层引擎支撑数据门户作为一个轻量化产品,在数据消费部分已完成闭环,但用户诉求多样,会出现较多复杂功能诉求。例如:根据用户所在的部门不同,角色不同,可查看同一份数据资产中不同维度,不同敏感度的数据。此处就需要用到底层数栈关于 HIVE 表的行级权限管控。或用户需要发布非数栈的数据接口,作为一个数据资产,进行数据消费,则引入的是数栈接口服务中新增 API 的功能。同样的,作
96、为产品,数据门户也可对接其他底层引擎平台,但对应的,部分重度依赖底层引擎的功能,将无法实现该功能。例如上文提到,行级权限管控如果底层平台不支持,那将无法完成数据权限管控全部功能。(3)数据资产同步)数据资产同步数据资产进入数据门户,需要通过大数据平台,通过大数据治理工具,将业务数据标准规范化,完成数据资产盘点入表。通过业务系统接入,利用离线/实时的工具,完成数据入表,并通过一系列的操作,完成数据治理过程。同时对于资产进行 DIM 层公共维度抽离,抽离后,数据门户通过异步同步的方式,完成数据资产同步,将数据资产同步展示至数据门户中。同步包含主动同步和自动同步,通过增量,变更自动下架等一系列方式,
97、完成数据资产的门户同步。(4)数据超市)数据超市数据资产目前拥有三类方式:数据集、数据 API、组件数据。数据集为目前主流的数据资产形态,即数据表资产,展示数据表中的数据情况,通过展示数据目录、表名称、数据域分类、数据预览(样例数据)等方式进行展示,方便用户快速了数据集基本情况。数据 API 为常见的数据交换模式,在数据超市中,展示 API 基本信息,包括数据目录、传返参、接口方式、调用模式等情况。完成数据 API 申请后,提供URL 及 KEY,进行暴露,如果为加密状态,则需要按照规则获得秘钥,进行数据 API 传输。袋鼠云数据资产管理白皮书63组件数据为展示数据组件资产,数据作为无形资产,
98、通过可视化图表进行展示,是一种展示形式。通过对接底层 BI 工具,可获得在线 URL 等,加工成为数据组件,进行图表化,在门户展示引用。(5)权限管控)权限管控数据门户作为一个多源适配的产品,横跨较多行业,不同行业之间,对于权限管理诉求不同,例如大型集团企业天然存在多级公司间关系,权限管控重点在于各公司之间分割;而政企类部门,则存在多部门协跨的问题。针对以上情况,权限管控采用 RBAC 模型,目前该模式在行业内非常成熟,且已在大型 2B 企业中得到应用及使用。该模型通过 N 对 N 的基础模式,打通,用户,角色,权限之间的关系。并通过对数据编目权限赋值,完成数据浏览权限管控。该模型可适配多组织
99、树,多角色的情况,可根据数据 owner 方进行审批,总集审批,也可自定义审批流。配置化节点或审批员,因考虑到大型政企适配,支持按组织节点或按角色等特色化身份进行审批。(6)数据共享)数据共享数据门户针对数据消费进行分层级设计,用户简易式申请及后台全面化配置,通过各项配置及审批来完成数据消费闭环。业务人员访问数据门后,可通过业务标签,精准化搜索等方式完成数据资产检索,并通过数据预览,数据目录查看等方式完成资产确认。数据预览可直接调用数据表前 1000 条数据,而数据 API 则提供接口调用沙盒模式,可查看传返参情况,数据组件部分则可通过导入静态数据的方式,查看数据组件是否符合用户诉求。数据门户
100、提供完整的数据资产申请生命流管理,用户完成数据资产确认后,可进行加购购物车、收藏、批量申请等便捷操作,并可随时查看申请进度,并支持随时撤回等基本功能,支持多平台通知。管理人员可进行数据资产审批,完成审批后,也支持数据权限收回,收回审批后,业务人员将无法调用数据资产。袋鼠云数据资产管理白皮书642数据门户价值数据门户价值(1)数据治理成果展示)数据治理成果展示政企类数据资产完成数据治理后,通常存在一个困境,就是无法直观可视的进行成果展示,通过数据数据门户资产模块,进行数据资产暴露,方便了解目前整体数据资产入表情况,对于整体数据治理成果可进行一定的展示,并可通过游客模式进行一定的对外展示。(2)数
101、据申请规范化)数据申请规范化传统企业通过 OA 进行数据申请,是之前业务部门针对部门数据使用的一种主流方式。但仍需要业务人员进行线下判断。数据门户通过规范化申请流程,自定义申请配置,将数据申请与权限管控完美结合,确保所有申请审批分工明确,源头可溯。(3)技术与业务互通)技术与业务互通作为一个轻量化无代码平台,整个数据门户操作门槛较低,无开发经验的业务人员也可进行简单的配置,即可完成数据门户的使用及管理。数据资产同步,上下架,均可批量化操作,简单易懂。主流大数据平台天然存在功能强大,操作复杂,而数据门户很好的完成了数据消费的最后一公里的路程,通过一键同步,单点登录等各类简易化操作,让数据资产可见
102、、可视、可用。(八)工具特色(八)工具特色1Data+AI在当今以数据为核心的商业环境中,SQL 不仅仅是一种查询语言,它已成为数据分析和决策制定的基石。SQL 的编写和执行效率直接关系到数据处理的速度和分析结果的深度,对企业洞察市场动态、优化业务流程、提升决策质量起着至袋鼠云数据资产管理白皮书65关重要的作用。为此,袋鼠云将前沿的人工智能技术融入到数据资产管理工具中,彻底革新了 SQL 开发的传统模式。其核心理念是 Data+AI,工具不仅提供了数据资产管理的基础功能,更通过与 AI 技术的深度融合,将 AI+能力与平台相融合,提供了诸如 Text 2 SQL、智能调优、日志智能解析、指标归
103、因分析、Chat BI 等一系列能力,为企业提供数据智能分析与应用,实现行业内容体系的集成、灵活便捷的数据洞察、极速分析引擎的计算以及数据安全的全方位管控。2全链路信创适配全链路信创适配随着国产替换的深化,企业对信创产品的需求逐渐融合更丰富的业务诉求以及未来数智规划,正从“同类替换”转向“迭代升级”。当前,袋鼠云的数据资产管理工具与芯片、服务器、数据库、操作系统、中间件、云平台等主流信创厂商全面兼容适配,为企业提供了更加安全可靠、自主可控的数字化解决方案,可以满足银行和互联网级的业务连续性、千万级任务调度实例分钟级生成、从数据库到中间件全栈信创合规等不同行业客户的诉求。袋鼠云数据资产管理白皮书
104、66袋鼠云数据资产管理白皮书67五、数据消费实践五、数据消费实践(一)金融行业数据消费实践(一)金融行业数据消费实践1银行机构数据消费实践银行机构数据消费实践(1)建设背景)建设背景随着银行业务的多元化扩张与数字化进程的加速,数据成为核心竞争力的关键要素,数据资产管理成为提升数据驱动业务增长的关键能力。面对数据量激增与分布零散的挑战,首要任务是强化数据治理,统一标准、监控质量,打破信息孤岛。通过资产化管理,将数据视为重要资产录入资产负债表,利用估值模型科学衡量其价值,引导资源合理配置。同时,优化数据消费流程,构建数据平台与工具,确保数据易获取、快分析,加速从数据洞察到业务决策的转化。银行业数据
105、资产管理聚焦于治理优化、资产入账及消费效率提升,旨在挖掘数据潜力,驱动业务创新与风险管控,推动数据要素价值充分释放。(2)项目痛点)项目痛点1)元数据管理缺失元数据管理缺失:元数据管理不健全,使得数据的来源、含义及使用方式难以追踪,影响数据价值的挖掘和利用。例如,对于“贷款状态”这类具有特定业务含义的字段,若元数据描述缺失,数据使用方难以理解特定产品“已结清”、“逾期”等状态的确切定义及转换规则,降低了数据使用的准确性和效率。2)数据权属与定价困难数据权属与定价困难:数据资产的权属确认复杂,加之数据定价机制不成熟,难以合理评估和利用数据资产的价值。例如,信用卡消费数据虽由信用卡部门收集,但可能
106、同时服务于风险评估、市场营销等多个领域,如何划定数据使用权并给出资产价值评估。3)合规与安全风险合规与安全风险:在处理大量敏感信息的同时,确保数据的安全合规成为巨大挑战,数据泄露或不当使用可能导致法律风险和信任危机。例如,未经客户同意擅自使用或泄露其账户余额、交易流水等信息,不仅可能遭受巨额罚款,还会严重损害银行信誉。袋鼠云数据资产管理白皮书684)需求变更频繁需求变更频繁:业务需求快速变化,新指标的提出和既有指标的调整频繁,给数据资产管理的稳定性与灵活性带来考验。比如,为了满足监管对小微企业贷款风险监控的新要求,需要紧急新增“小微企业贷款不良率”这一指标。同时,原有指标如“客户流失率”的计算
107、规则也可能因营销策略调整而频繁变动,要求数据管理系统具备高度灵活性和快速迭代的能力。(3)建设框架)建设框架数据资产盘点数据资产盘点:全面梳理数据分布与结构,包含但不限于对客户、产品、渠道、机构等多维度的主数据、参考数据等的分类定义,并对敏感信息进行标记分级,确保符合隐私保护法规要求,为后续的精细化管理和数据价值挖掘打下坚实基础。数据资产治理数据资产治理:数据治理策略需紧密结合银行业务流程与监管要求,例如,通过引入数据质量监控模块,定期检查账户余额变动的准确性、贷款审批记录的完整性和客户信息的一致性。同时,强化主数据管理,确保客户基本信息在各业务系统间的一致与同步,减少因数据不一致导致的决策失
108、误。数据服务共享数据服务共享:数据服务共享旨在通过构建数据中台,打破信息孤岛,加速数据流动与价值释放。例如,开发针对风险管理的数据 API,使风控部门能即时获取到客户交易异常、信用评分变化等关键信息,快速做出反应。数据运营消费数据运营消费:数据运营消费环节着重于将数据转化为实际业务成果。构建数据应用社区,鼓励各部门基于数据集自助分析支持业务决策。此外,建立数据效能评估体系,监测数据资产价值及成本变化,不断反馈优化,确保数据战略与业务目标高度协同,共同推动银行的持续增长与创新。(4)交付内容)交付内容在项目初期,首要任务是全面梳理总分行现有业务系统架构与数据分布情况。这包括识别所有数据来源,涵盖
109、核心系统、网上银行、手机银行、超级网银、资金清算、综合前置、信用卡、电话银行、信贷管理、互金平台等系统,以及它们袋鼠云数据资产管理白皮书69之间的数据交互方式。通过访谈业务部门、技术团队及查阅现有文档,构建业务流程图与数据流向图。在业务系统及数据项梳理基础上,制定统一的数据命名规则、编码标准、数据定义及数据格式规范,确保数据在不同系统间的一致性和可比性。实施数据治理与质量提升专项,利用数据质量管理模块自动化监控数据准确性、完整性等指标,对发现的问题数据进行告警推送。构建数据服务平台,实现数据服务化。根据业务需求识别并设计关键数据服务接口,如客户信息查询、交易历史提取、风险评估报告等。支持多种认
110、证机制,确保数据访问的安全可控。开发和部署数据 API,提供详细的接口文档与示例代码,便于业务团队和开发者快速接入。同时,建立 API 性能监控体系,跟踪调用情况,及时优化服务性能。通过 BI 分析平台,集成报表、仪表盘、自助分析等多种功能。与业务部门合作设计符合特定分析场景需求的定制化模板,如客群分布、存贷规模分析等。建立指标类资产评估各产品线业务进展情况,从存款、贷款、基金、理财、国际结算、代发工资、收单等 7 个维度评价经营水平,共计 218 项指标,建立主要业务系统指标库,为业务数据价值呈现提供分析基础。部分资产清单如下图:表 2 银行资产清单袋鼠云数据资产管理白皮书70(5)建设成果
111、)建设成果通过数据资产盘点,建立详尽的数据资产目录,清晰展现所有数据资产的分布、状态以及业务含义。包括但不限于数据表、指标、标签、API 等各类数据资产类型。数据治理的专项实施提升了数据质量和可用性,确保了数据的准确性和时效性。通过实施数据质量规则、监控机制和问题整改流程,确保数据满足业务需求和监管要求。建立统一的数据共享平台和机制,打破信息孤岛,实现了跨部门、跨系统的数据流通。通过制定合理的数据权限管理策略和数据访问协议,既保证了数据的安全合规共享。各业务线能够根据特定分析诉求灵活高效开发出驾驶舱看板,为管理层和业务团队提供实时、直观的数据洞察。支持管理层快速做出数据驱动的决策,优化资源配置
112、及市场风险应对能力。部分数据看板成果如下图所示:图 63 存贷款数据看板袋鼠云数据资产管理白皮书712证券公司数据消费实践证券公司数据消费实践(1)建设背景)建设背景在资本市场竞争加剧和监管政策的积极引导下,证券公司迫切需要通过高质量的数据资产管理来提升核心业务竞争力,实现数据的深度挖掘和智能分析。证券市场每时每刻产生的海量行情、交易、结算数据,对数据的资产化管理应用能力将有效推动业务创新和市场竞争力提升。因此,证券行业的数据资产管理建设是数字化转型在当下阶段让数据切实赋能业务应用场景的最佳实践。(2)建设框架)建设框架数据资产盘点数据资产盘点:全面梳理证券公司内部及外部数据源,包括交易记录、
113、客户资料、市场数据等,进行分类与编目,评估数据质量与价值,建立数据资产目录。通过自动化工具辅助发现和文档化数据资产,确保数据来源的透明度和可审计性,为后续治理与应用奠定基础。数据治理专项数据治理专项:构建数据治理体系,涵盖数据标准制定、元数据管理、数据质量控制和数据安全管理。制定统一的数据命名、定义及编码规则,利用元数据管理平台提升数据理解与追踪能力。实施数据质量监控与改善计划,定期审查数据准确性、完整性。同时,强化数据安全措施,确保数据访问遵循最小权限原则,符合行业安全标准和法规要求。数据安全与合规数据安全与合规:数据分级与访问控制,根据数据的敏感程度进行分级管理,实施严格的访问权限控制,确
114、保只有授权用户才能访问相应级别的数据。合规性管理:遵循证券行业的数据保护法规(如 FINRA、SEC 规定),实施数据加密、匿名化处理,建立数据审计机制,确保数据处理活动符合监管要求。数据应用价值挖掘数据应用价值挖掘:基于标准及质量治理后的数据资产,构建数据仓库与数据湖支持业务分析与数据可视化,为管理层提供市场动态、客户行为、交易绩效等多维度洞察。推进数据驱动的产品创新,如智能投顾、算法交易策略等,在整袋鼠云数据资产管理白皮书72个应用过程中,持续反馈数据应用效果,迭代优化数据模型与算法,形成数据资产应用反馈闭环,最大化数据资产价值。(3)交付内容)交付内容在项目启动阶段,核心任务是对总部及各
115、分支机构现有的证券业务系统架构与数据布局进行全面摸底。这涵盖了识别相关数据源,包括核心交易系统、移动应用、资金清算系统、信用交易、电话交易服务、风险管理、互联网金融交易平台等,以及这些系统间的数据交换模式。通过与业务部门、技术团队的深入交流及现有文档的审阅,绘制出业务流程图和数据流图。基于业务系统与数据项的详细梳理,制定统一的数据命名规范、编码准则、数据定义及格式标准,以保证跨系统数据的一致性和可比较性。推行数据治理与质量提升计划,利用数据质量管理工具自动监测数据的精确度、完整性等关键指标,并对检测到的异常数据实施即时预警通知。搭建数据服务中台,促进数据服务化进程。依据业务实际需要,识别并设计
116、关键数据服务接口,比如客户资料检索、交易记录提取、投资风险评估报告生成等。支持多种安全验证方式,确保数据访问的高安全性与可控性。开发并部署数据 API,提供详尽的接口文档和实例代码,简化业务团队及开发者的接入流程。同时,建立健全 API 性能监测系统,持续追踪调用状况,及时进行服务性能的优化调整。运用 BI 分析平台,集成了报表制作、仪表板展示、自助式数据分析等功能。与业务部门携手设计满足特定分析情境的定制模板,例如投资者群体分析、证券交易量与持仓集中度分析等。建立一套指标标签体系来评估各业务线的业务发展状况,从客户、渠道、产品等多维度来衡量经纪、两融、资管、投顾等条线的经营情况,构建起核心业
117、务资产库,为深度挖掘业务数据价值与展现分析结果奠定基础。部分资产清单如下图:袋鼠云数据资产管理白皮书73表 3 证券资产清单(4)建设成果)建设成果提升决策效率与质量提升决策效率与质量:通过有效的数据资产管理,证券公司能够确保数据的准确性和时效性,为管理层提供可靠的数据支持。精准的数据分析有助于快速识别市场趋势、评估投资风险和机会,从而做出更加科学合理的经营决策,增强公司的市场竞争力。增强客户个性化服务能力增强客户个性化服务能力:证券公司掌握着大量的客户交易数据和行为数据。通过数据资产的有效管理,可以深入分析客户偏好、风险承受能力等,定制个性化的产品和服务,提升客户满意度和忠诚度,促进客户关系
118、的长期稳定发展。风险管理与合规性强化风险管理与合规性强化:在严格的金融监管环境下,数据资产管理有助于证券公司建立完善的数据监控和预警机制,及时发现并应对市场风险、信用风险等,确保业务操作符合监管要求。良好的数据治理还能帮助公司快速响应监管查询,降低合规成本和法律风险。数据资产价值显性化数据资产价值显性化:通过对数据资产进行盘点治理,为证券公司资产科学估值和最终入表铺平道路,有助于证券公司更精准地评估各项业务数据价值,优化信息资源投入配置,实现数据资源的合理规划、数据资产价值可视化。部分数据资产沉淀如下图所示:袋鼠云数据资产管理白皮书74图 64 数据资产沉淀3消费金融公司数据消费实践消费金融公
119、司数据消费实践(1)建设背景)建设背景消费金融公司在快速发展的同时,面临着日益增长的数据资产管理挑战。随着业务规模的扩大,如贷款审批、风险管理、客户服务等,产生的数据量呈指数级增长。数据资产的有效管理成为提升服务质量、降低风险、优化决策的关键。在此背景下,数据治理显得尤为重要,它涵盖了数据的收集、存储、处理、分析和应用等全过程,确保数据的质量、安全和合规性。因此,消费金融公司迫切需要构建完善的数据资产管理体系,以满足业务发展的需求,提升核心竞争力。(2)建设框架)建设框架数据调研数据调研:对消费金融业务的各类数据源进行深入调研,了解数据的来源、格式、质量以及更新频率等。通过全面的数据调研,可以
120、确保数据资产的准确性和完整性,为后续的数据治理和应用奠定坚实基础。同时,数据调研还能帮助团队识别数据中的潜在价值,为业务创新提供方向。数据治理数据治理:数据资产管理发挥着至关重要的作用。它通过建立完善的数据治理体系,确保数据的质量、安全性和合规性。这包括制定数据标准、建立数据质袋鼠云数据资产管理白皮书75量监控机制、实施数据权限管理等。通过数据治理,可以有效降低数据风险,提升数据的可用性和可信度,为消费金融业务的稳健发展提供有力保障。数据协作数据协作:通过统一的数据资产管理平台,不同部门可以方便地访问、查询和分析数据,共同挖掘数据的潜在价值。同时,数据资产管理还能提供强大的数据分析工具,支持业
121、务部门快速响应市场需求,制定精准的营销策略。数据应用数据应用:通过对海量数据的分析和挖掘,洞察消费者的消费习惯、信用状况和风险特征,为信贷审批、风险控制、产品设计等提供科学依据。此外,数据资产管理还能支持精准营销、客户关系管理等应用场景,提升客户满意度和忠诚度,为消费金融业务的可持续发展提供有力支持。(3)交付内容)交付内容深入理解和梳理消费金融公司的现有业务系统架构与数据布局。这涵盖了我们的核心业务系统,如线上贷款申请平台、移动支付接口、风控决策系统、客户管理系统等,以及它们之间的数据交互关系。通过访谈业务团队、技术部门并查阅相关资料,构建详细业务流程图和数据流动图。基于对现有业务系统和数据
122、项的梳理,制定相关数据标准,并实现了 85%以上的数据项符合新制定的数据命名规则、编码标准、数据定义和数据格式规范。通过数据治理和质量提升计划,我们利用数据质量管理工具实时监控数据,确保了数据的准确性提升至 95%以上,完整性提升 30%以上。为了满足消费金融业务的快速响应和灵活调整需求,我们构建了一个高效的数据服务平台。该平台已成功设计并部署了超过 50 个关键的数据服务接口,如客户信用评分查询、交易记录提取、风险预警等。同时,我们支持了多种安全认证机制,确保数据访问的安全性和可控性。通过数据 API 的部署,我们帮助业务团队和开发者在 1 周内快速接入了数据服务。BI 分析平台集成超过 1
123、00 个报表、仪表盘和自助分析模板,满足了业务团队对数据的多样化需求。我们与业务部门紧密合作,设计了符合消费金融业务特点的 10 大定制化分析模板,如客户画像分析、贷款逾期预警、产品收益分析等。通过构建多维度的指标体系,我们成功地对消费金融公司的经营状况进行了全面袋鼠云数据资产管理白皮书76评估,包括贷款规模增长了 20%、资产质量提升了 15%、风险控制指标下降了10%等多个关键指标,为业务决策提供了有力的数据支持。(4)建设成果)建设成果形成了全面、详细的数据资产目录和元数据管理体系,明确了数据资产的来源、类型、质量等关键信息。消费金融公司能够清晰地了解自身数据资产的状况,为后续的数据治理
124、和应用提供了坚实的基础。同时,对数据的全面了解有助于公司更好地把握市场趋势,优化产品设计,提升服务质量。确保数据的质量、安全性和合规性,降低数据风险。同时,清晰的数据权限管理有助于提升内部协作效率,防止数据泄露和滥用。在消费金融领域,高质量的数据是风险控制和信贷审批的关键,因此数据治理对于保障业务稳健发展至关重要。实现了业务部门和技术部门之间的紧密协作,建立了统一的数据资产管理平台,实现了数据的共享和流通,打破部门壁垒,促进数据的流通和应用。统一的数据资产管理平台为各部门提供了便捷的数据访问和分析工具,有助于公司更快速地响应市场需求。通过数据指标及标签等资产的应用,消费金融公司能够更准确地评估
125、客户信用状况和风险水平,优化信贷审批流程,降低坏账率。同时,内外部数据准确性、一致性的提升,保障了业务风险规则及策略命中率,降低风险欺诈事件造成的资金及信誉损失,提升了业务盈利能力和客户满意度。部分数据看板成果如下图所示:袋鼠云数据资产管理白皮书77图 65 消金公司贷款数据看板(二)央国企数据消费实践(二)央国企数据消费实践1建设背景建设背景随着数字化转型不断深化,某集团企业数据应用方面需求不断扩展。然而数据应用方面的数据价值不凸显、数据标准不统一、数据质量不可控、数据使用不合规等问题逐渐显现,集团缺乏系统的数字资产集成、管理等能力。集团希望打造全司统一、覆盖公司业务全流程的经营管理、运营管
126、理以及分析决策的数据资产平台。对存量数据进行数据治理及挖掘,建立数据标准,搭建数据管理体系;对增量数据进行有效管理和应用,提升数据处理和应用的效率,提炼运营指标及管理指标,科学化管理公司数据资产和挖掘数据价值。2项目痛点项目痛点由于公司内部结构庞杂,各部门的监管需求、战略目标、管理职责、业务类型差异较大,经年积累了大量宝贵行业数据信息资源,无法实现多方共享、开放对接,内部数据合规制度和流程体系长期缺失,数据效用与价值难以保证和发挥。同时,发展战略不清晰、产品选型缺乏规划、技术保障能力不足、数字化建设合规要求不符的问题都会阻碍企业数字化的进程。袋鼠云数据资产管理白皮书78业务层面:业务层面:部门
127、业务有固定数据指标,但是未成体系;而且目前很大问题还是在数据报表输送上,这个环节不解决,数据基础不夯实,数据分析徒劳无功。数据层面:数据层面:由于数据问题与岗位人手不足,统计分析岗位人员的主要工作在于手工收集数据,并基于 EXCEL 形成统计报表,手工工作量大、无法聚焦于洞察与高级分析。技术层面:技术层面:数据台账依赖 SAP,查询效率上偏慢,计算资源有限,手工处理耗时耗力:业务人员,花费大量精力在数据统计分析,有些数据还是缺失,SAP改动过于复杂。3建设框架建设框架按照公司数字化顶层设计的统一要求,本次项目核心是建立安全可靠、全面符合数字化建设要求的数据应用平台,实现公司数据一体化。以数据资
128、产服务平台为基础,通过数据填报系统、综合报表中心、战略决策驾驶舱三大平台全终端呈现,从数据应用角度将项目划分为四大主题模块,分别是“监管数字化”、“战略数字化”、“管理数字化”、“业务数字化”。监管数字化:监管数字化:对外集团监管考核指标上报,对内完成企业多层级数据归集汇总,实现监管上报自动化与监管数据可视化,深化国资监管,强化内部管控,保障监管目标实现。战略数字化:战略数字化:以公司监管目标为纲,以企业发展战略为引,将战略目标作为整个数据应用平台的核心,构建从战略制定到落地的全流程数字化管控应用,统领各管理职能与业务板块协同运作,实现从战略目标执行、落实到最终检查的闭环管理。管理数字化:管理
129、数字化:构建面向多管理模块的主题式数据服务,提供资产全生命周期管理、预算管理、费用控制、客户画像等丰富的管理类数据应用场景,支撑企业绩效监控能力提升,不断提高管理精细化程度与管理效率,实现职能管控全覆盖,支撑公司战略目标实现。业务数字化:业务数字化:构建面向多业务体系的主题式数据服务,提供对于国内、国际、配供等数据应用场景,实现数据赋能业务,帮助企业实现经营业务全周期管控,袋鼠云数据资产管理白皮书79不断提升经营效率,支撑公司战略目标实现。图 66 集团数据资产管理蓝图4建设成果建设成果该项目运用数据建模、商业智能、可视化分析等新技术,搭建集业务电子化、需求流程化、数据主题化、报表自动化、分析
130、场景化于一体的,终端全覆盖的数据应用平台,助力公司数据资产持续沉淀,对内持续提升战略洞察、绩效管理与运营监控能力,对外承接集团监管,实现“全局感知,数物融合,精细洞察,组织敏捷,智能决策”的目标。建设成果包括:数据填报系统、综合报表中心、战略决策驾驶舱(内含业务管理、财务管理、资金管理、人事管理、党建管理、资产管理、审计管理等数字化分析模块)、数据资产服务平台和数据管理体系。在业务指标梳理和海量数据处理的基础上,提供了从任务下发、数据上报、数据汇总管理到报表分析、数据可视化呈现和专题式研究等相关能力,同时满足了全终端覆盖、权限管理、流批一体调度、定时调度等系统功能。以下为部分成果展示:(1)仓
131、库驾驶舱)仓库驾驶舱库存分析:库存分析:通过库存总揽掌握集团、事业部、部门各类产品的库存情况,为库存管理和库龄管控提供数据支持。库存预警分析:库存预警分析:通过库龄对产品进行风控预警,及时预警库存超期的产品,袋鼠云数据资产管理白皮书80并提示给相关事业部和部门,确保能即时采取行动,减少资金占用与货物陈旧风险,进一步提升了整体供应链的响应速度与灵活性。图 67 仓库驾驶舱(2)业务驾驶舱)业务驾驶舱聚焦于企业经营绩效的核心监控,此模块通过多维度解析营收、利润、业务结构等指标,为管理层提供了一个战略决策的“仪表盘”。它不仅依据预设的关键业绩指标(KPIs)进行实时监控,评估预算执行进度与目标达成率
132、,还能深入分析业务运营中的潜在问题与增长点,为快速调整经营策略、把握市场机遇提供了科学依据。这一功能有助于确保业务运营始终保持在既定轨道上,实现可持续发展。图 68 业务驾驶舱袋鼠云数据资产管理白皮书81(3)物流驾驶舱)物流驾驶舱运输量分析:运输量分析:通过物流运输的运输量、运输趋势、运输方式、线路等分析,掌握物流运输的规律,便于各类物流运输管理。物流费用分析:物流费用分析:通过物流费用分析,了解事业部、部门各类费用趋势,为第三方物流管理、物流费用节省、内贸物流线路选择提供决策参考和费用管理。图 69 物流驾驶舱(4)客户驾驶舱)客户驾驶舱涵盖了客户结构、终端用户行业分布、贸易商的特性分析,
133、特别是对重点客户的深度剖析,助力企业把握不同区域、不同客户群体的需求特征与行为模式,更好地帮助集团制定更加个性化、高效的客户维护策略、优化销售网络布局及提升客户满意度,最终推动市场份额的增长与客户忠诚度的提升。袋鼠云数据资产管理白皮书82图 70 客户驾驶舱(三)制造行业数据消费实践(三)制造行业数据消费实践1建设背景建设背景在数字化转型的大背景下,某汽车制造企业积极探索数字化转型之路,并打造了业务数字化智能支持平台,提升了企业核心竞争力和客户满意度,助力行业高质量发展。随着业务种类和数据量的不断增大,业务数字化智能支持平台也暴露出一些短板,如功能分散、数据孤立、开发效率低。为实现大数据管理一
134、体化、开发测试一体化、资产服务一体化,迫切需要建设企业级数据资产中心,打造“智数平台”,并将基于此实现供应协同与成本计算、客户洞察与精准营销、创新产品与敏捷服务等数智应用。2建设框架建设框架该汽车制造企业数字化战略规划以“用户+产品、团队+智造”两大主轴,以及“产品创新、精益化、自动化、品质提升、数字化、管理升级”六大战略的落地,实现世界级精益智能工业园。袋鼠云数据资产管理白皮书83在该企业的数字化战略框架指引下,袋鼠云团队对客户开展了深入调研,调研涉及 13 个业务部门、23 个业务系统、30 余人,最终为企业规划了未来 3 年的数字化转型蓝图。规划聚焦 1 个企业数据资产中心,拉通业务数据
135、,打破数据孤岛,搭建起“智数赋能”数据大脑,从而有效支撑研发设计、供应协同、生产制造、质量安全、数字营销、客户服务、财务管理、行政人事等 8 大应用场景,以数据为眼,洞察企业运营状况,提高有效产出。图 71 数据大脑规划3交付内容交付内容该企业有条不紊地推进数字化建设,目前已经完成一期的实施落地,建立了一体化智数平台底座,锻造了数据交通枢纽、数据服务市场、数据可视化三大核心能力。智数平台对接公司、集团所有相关业务系统,完成了数据规范、标准、质量、服务等内容建设,进行数据资产统一管理,实现了日常管理数字化、实物流与信息流同步、订单透明化、经营 KPI 实时化等数字化应用,取得了阶段性的成果。数据
136、交通枢纽围绕 CRM 建设,打通与 ERP、PLM、WMS、IAM、企业微信等系统对接,取代业务系统之间的直接调用,解耦和规范化管理数据交互,对接口调用过程进行监控,数据统一经过数据枢纽互通,让各系统间数据共享交互便袋鼠云数据资产管理白皮书84捷,也方便对数据进行统一监控管理。数据服务市场基于智数平台建立通用的主数据标准,形成主数据库,从而便捷提供统一主数据接口服务,实现数据对内、对外高效的跨部门服务,实现数据资产访问受控和访问安全,快速支撑 CRM 业务系统建设需求。图 72 数据大脑架构数据可视化实现了供应协同分析、成本计算模型、财务三大报表以及其他数字化场景应用展示。全域数据线上化后,可
137、以更低成本、更高效率地搭建数据看板,全面把控数据的流转动态,及时进行订单、采购、财务成本等数据分析,让数据价值可见可信。图 73 可视化应用智数平台一期建设为该企业建立一体化数据平台 OLAP,以 OLAP 平台为核心,覆盖业务数据交互 ESB,整理设计 MDM 规范,指导信息中心数据服务流程。袋鼠云数据资产管理白皮书85此外,通过项目梳理数据、业务现状,该企业更加明确和认识自身数字化水平,发力优先打通数据断点和补齐业务短板。另外,通过数字化建设实践,企业也逐步培养出数字化人才团队,有效地推进了数字化进程。接下来该企业将向生产、质量、车联网等全域数字化继续推进,通过数据和用户为核心,深度挖掘数
138、据价值,建立数字化团队、能力、服务模式和标准,全面提高售前、售中及售后服务水平,实现数据增值与应用,推动业务持续创新与发展,打造成为客车、专用车领域智慧型产品和服务提供商。(四)海港行业数据消费实践(四)海港行业数据消费实践1建设背景建设背景随着信息化的高速发展,各类信息技术应用助力港口转型升级,可以预见智能化的港口将成为未来港口发展的新业态。为了进一步加快推进智慧港的建设,某海港集团这几年做了大量的工作,例如集装箱提重无纸化、智能理货、网上营业厅、云数据处理中心等,切实发挥好港口一体化运营龙头和主力军的作用,为做强做优做大港口奠定坚实基础,为推进海洋港口一体化高质量发展,加快打造国际一流强港
139、和世界级港口集群作出积极贡献。2建设框架建设框架搭建大数据平台。搭建大数据平台。按照数据中台技术标准和技术框架,建立集团公司层面的大数据平台,初步形成具备数据计算存储平台、数据开发平台、数据资产平台以及数据服务平台的能力。试点大数据应用。试点大数据应用。当前部分码头的数据应用也面临着技术架构性能不足,数据应用联动不强等问题,因此本项目将当前成熟的一些数据业务场景迁移到新建的平台上,以数据中台建设规范来做重构,形成码头(船舶、车辆、集装箱等)公共的数据服务能力,为后面的数据应用建设提供指导意义。梳理数据资产标准。梳理数据资产标准。将之前做的数据治理标准化成果,结合本次数据中台指标和模型的梳理和建
140、设标准,形成集团层面的数据资产标准体系。袋鼠云数据资产管理白皮书863交付内容交付内容梳理集团已有业务系统、主数据等,其中管理主数据 74 项、参考数据 67项、用户包括苍穹平台、CBOS、门户、危管平台、计划统计系统、矿石码头、镇司、ETMS 等。建立以全港业务数据为主的数据仓库,为 20 多个内/外应用提供数据服务,其中汇集结构化系统数据库 28 个,非结构化数据,包括省交通厅GPS,基站 AIS、船讯网 AIS 等。盘点数据资产清单。盘点数据资产清单。汇聚用户所有数据信息,通过元数据信息收集等手段,需要展示数据平台中相关数据(表、任务、API 服务、数据等),帮助数据中心完成数据信息的收
141、集和管理,解决有哪些数据可用、到哪里可以找到数据的难题,并且提升数据资源的利用率。图 74 数据资产清单建立指标评价体系。建立指标评价体系。评价港口运营,检测港口运营状态。建成智慧港口评价体系,指标项逐步丰富。从安全、规模、效率、数字化、服务、绿色 6 个维度评价港口运营水平,共计 98 项指标,建立指标库,统一数据口径,为智慧型港口建设让指标可视化,让数据直观化。袋鼠云数据资产管理白皮书874建设成果建设成果经过系统化的数据资产梳理和建设,港口企业实现了全面的数据资产管理与利用,取得了显著的成果。整合了集团下各集装箱码头公司和散杂货码头公司的数据,实现了数据的集中存储与统一管理。图 75 海
142、港大数据一张图经过全面的 API 指标体系建设,集团成功实现了统一的数据服务入口,并有效地服务于各个业务系统,显著提升了业务效率和管理水平。具体 API 指标成果袋鼠云数据资产管理白皮书88部分展示如下:表 4 海港集团指标体系运营涉及多个部门和系统,数据来源多样、格式不一。数据标准化的目标在于确保所有数据都按照统一的格式、定义和标准进行收集、存储和使用,以提高数据的质量、一致性和可信度。港口行业数据标准化不仅仅是技术层面的问题,更是整个企业管理和运营效率提升的关键。通过统一数据标准,港口企业能够在竞争激烈的市场中保持领先地位,实现持续创新和可持续发展。部分数据标准示例如图:袋鼠云数据资产管理
143、白皮书89表 5 海港集团数据标准(五)政务数据消费实践(五)政务数据消费实践1建设背景建设背景2019 年 10 月,为了持续优化营商环境,不断解放和发展社会生产力,加快建设现代化经济体系,推动高质量发展,中华人民共和国国务院发布第 722 号国务院令,出台了优化营商环境条例,要求各级人民政府应当加强对优化营商环境工作的组织领导,完善优化营商环境的政策措施。某市深入贯彻上级相关文件要求,认真落实创新、协调、绿色、开放、共享五大发展理念,坚持抢抓产业数字化、数字产业化机遇,围绕数字经济、平台经济持续发力加快构建现代化产业体系。为进一步优化营商环境,促进招商引资工作,推动产业转型升级,该市提出建
144、设“政策超市平台”项目。2建设框架建设框架数据资源最大的特点是具有重复利用性和增值性,有效的数据资源能为部门创造巨大的价值。对数据资源的挖掘利用能力正在成为国家以及企业竞争力的重要体现,但多年来各部门形成了大量数据孤岛,制约了数据的流通和变现。由于缺乏数据共享和交换渠道,以及隐私及安全方面的考虑,不同部门间甚至部门内袋鼠云数据资产管理白皮书90部都很难实现数据共享及开放,难以发掘数据资源的潜在价值。数据共享交换平台,以数据目录的形式提供了数据展示的窗口,同时支持不同部门间数据的共享交换,使数据在不同的部门中流通,从而创造出更大的价值。图 76 政策超市平台架构产品基于递进式的架构设计,采用多层
145、架构,架构图说明如下:门户层:负责提供易用的操作界面,完成数据的展示、管理、数据消费等能力。共享层:负责所有 API 管理。存储层:负责存储业务数据,进行数据资产全生命周期管理。采集层:负责数据采集,通过离线开发平台,完成数据批量处理。业务层:提供数据来源,来源于各种业务;3交付内容交付内容数据消费:数据消费:可在页面上进行数据预览,数据消费的能力,可查看整体数据消费情况,关于已有数据资产的统计查看。袋鼠云数据资产管理白皮书91图 77 数据共享交换平台多级审核:多级审核:支持自定义数据消费审批的流程,方便多部门进行数据申请审批,多级部门审核自有数据,完成分部门审核,更加契合政府业务。图 78
146、 多级审核大数据互通:大数据互通:与数栈深度绑定,一键式同步已有数据接口信息,多种加密方式选择,保障数据安全,实时沙箱调配,可随时预览并验参已有数据接口。袋鼠云数据资产管理白皮书92图 79 信息资源详情4建设成果建设成果综改区数据共享门户上线后,涉及 1303 项数据资源,涵盖了行政审批,公共服务,社会治理等共享数据,累计协助各个部门解决 2058 次数据共享申请。门户上线后,主要面向工种,回应了社会公众对于数据公共服务的日益增长袋鼠云数据资产管理白皮书93需求,共同构建了数据共享开放、开发应用的基础支撑体系,可在网站上看数据、找服务、用数据,将有利推动综改区公共数据要素价值的释放。(六)高
147、校数据消费实践(六)高校数据消费实践1建设背景建设背景面对日趋激烈的国力竞争,世界各国普遍关注教育信息化在提高国民素质和增强国家创新能力方面的重要作用。全民教育、优质教育、个性化学习和终身学习已成为信息时代教育发展的重要特征。为提升学校信息化建设水平,数字化赋能学校管理运营,温州大学选择与袋鼠云展开合作,让学校的整体发展情况数据化和可视化,决策从经验式模式向数据驱动模式转变。2项目痛点项目痛点温州大学经过长时间数据建设,虽然目前在网络安全监测,网络云日志监测,业务数据分析领域已经有一定的落地应用。但因为业务系统的独立等因素影响,在数据建设层面还是存在不少的问题。(1)数据)数据融合程度低融合程
148、度低数据分散在各系统,如教务系统数据、一卡通数据、保卫数据、网络日志数据等都没有进行统一融合;(2)数据质量差)数据质量差前期在数据共享交换的实施过程中,也发现很多业务的数据质量问题,包括数据的一致性、完整性、准确性、及时性。袋鼠云数据资产管理白皮书94(3)数据应用单薄)数据应用单薄目前建设的数据应用较为单薄,不成规模不成体系,数据服务没有全覆盖,没有分层次;数据资源中心的数据库主要是结构化的校务数据,缺少其他数据源,无法做到全面、精准的分析。3建设框架建设框架图 80 建设框架结合温州大学信息化建设的实际情况,袋鼠云为整个学校搭建了统一的基础设施平台环境,通过部署大数据平台,为其提供海量的
149、存储和可伸缩的计算能力。同时通过数据门户进行数据资产智力成果展示,丰富了大数据分析的数据维度和应用服务的内容,将大数据技术,预测、决策技术充分利用于助力精准决策。袋鼠云数据资产管理白皮书954交付内容交付内容图 81 数据开放门户打通全校 18 个业务系统,240+表的高校全域数据采集,其中包括业务系统、日志、网络流量、物联网数据等,形成全域数据资产。完善综合业务网和物联网的融合与互通,建立无障碍的信息发布和传播途径。将传统信息化校园不太关注的学习、资源、交流等过程贯通,以智能分析技术推进服务的“数字化”发展。将原先独立建设的数据存储、处理的平台统一化,方便管理和开发,提高开发效率。完成大数据
150、中心的整体升级,将非结构化数据纳入大数据中心管理范畴。对传统业务大数据和信息资源进行面向对象的分类和集成,根据业务的需要形成服务大数据化、业务大数据化、用户行为大数据化、用户属性大数据化等多种大数据化实体,如支撑学校业务侧的运营并提供数据来进行可行性研究,如教师评级、课题研究、学术研究、校园数据标签等场景。针对部门业务和常规信息化系统进行流程梳理,以“服务”视角重新组织业务过程。围绕高校高层领导的关注指标,从资产、人事、能耗、课程、舆情、网络安全等诸多维度形成实时可视化指标,为决策提供数据指导。服务一站式设计,将“服务”落到实处,强调对大数据的综合利用和实用性,要求服务碎片化、全面性渗透到教学
151、、科研和管理的每个角落。服务平台化屏蔽服务后端的大数据交换、业务逻辑,使得服务和大数据、服务之间轻松耦合化,提升服务适应性。袋鼠云数据资产管理白皮书965建设成果建设成果(1)数据在线采集,提高数据质量)数据在线采集,提高数据质量线下下活动的过程在线化,增加数据采集环节(如学生活动签到等);线上业务环节的数据记录和采集;以及线上平台的用户行为埋点采集。如收集学习行为数据,帮助教学管理,改变教育领域的授课方式和学习模式;辅助海量数据的科研计算,实现科研选题科学化、实现研究数据共享复用。(2)建立统一平台,数据有效融合)建立统一平台,数据有效融合融合线上和线下各个系统数据融合到统一平台,打破数据孤
152、岛。在大平台中建立完善的数据交换系统,应对不同场景下的数据交换需求;数据融合过程对数据进行标准化治理,确保数据之间的一致性、完整性等。如以需求为驱动,采集全业务、全终端、多形态的全域数据,汇聚到数据中台,面向业务统一数据出口与数据查询逻辑,为业务提供统一的、标准的多维分析指标。(3)数据深度治)数据深度治理,提升数据服务理,提升数据服务立足数据统一平台之上,对各系统数据进行综合清洗、建模、分析、管理等,建设数据服务引擎。通过引擎对外支撑业务系统、支撑数据应用与决策。如依托师生在校园消费、学习、活动、授课等方面的信息,为师生提供在线化服务;借助数据中台服务引擎,构建一站式师生个人综合信息查询平台
153、,方便师生对自己在校相关数据情况的掌握,让每个人都实现对自身数据的管理,享受普惠性数据服务;基于师生个体的标签画像,匹配师生的偏好,为师生提供科研、工作、生活、娱乐等多方面的指导推荐。(4)多维度数据分析,赋能业务应用)多维度数据分析,赋能业务应用建立全域数据标签内容,包括但不限于学生标签体系、教师标签体系、图书标签体系。围绕每个主体内容,根据基础信息、统计信息等数据构建多维度标签袋鼠云数据资产管理白皮书97画像,面向不同部门不同层级的多维度的数据统计分析的可视化展示。同时,提炼基础业务需求,形成数据化应用产品,为业务决策、业务运营提供更好的支撑。从而,提升了学校管理运营效率,有助于管理机制创
154、新,从根本上解决和满足大数据时代高校对信息的需求。(七)景区数据消费实践(七)景区数据消费实践1建设背景建设背景浙江省杭州西湖风景名胜区是国家 5A 级旅游景区,其分为湖滨区、湖心区、北山区、南山区和钱塘区,景区总面积达 49 平方公里;秀丽的湖光山色和众多的名胜古迹闻名中外,是中国著名的旅游胜地,也被誉为人间天堂。2011 年 6月 24 日“中国杭州西湖文化景观”正式被列入世界遗产名录。近年来,数字经济发展成为助推经济发展质量变革、增强经济创新力和竞争力的新引擎。在此背景下,数字技术与文旅产业融合将不断加快,文旅行业将迎来数字文旅发展新时代。西湖景区依据杭州城市数据大脑规划,遵循城市大脑建
155、设的相关标准规范和体系,携手袋鼠云数栈开展城市数据大脑景区中枢建设,全面提升景区工作综合管理服务能力。2项目痛点项目痛点西湖西溪管委会拥有众多业务数据,从主题域来看,有龙井村茶园、野生动物、商铺等信息;从数改领域来看,有党政机关智治、数字经济、数字法治等;从所属专题来看,有文物遗产、旅游服务等;数据量众多,数据分类庞大。与此同时,用户存在数据互动诉求。例如,数字经济部门需要使用旅游服务及文化景观的数据,数字法治需要应急防控及文物遗产的数据。传统的数据共享通过 OA及线下维护,OA 完成权限审批的必要流程,IT 技术人员通过人工判断对数据申请方进行需求归纳判断,然后进行专项化数据清整及交付。整体
156、数据共享流程工作量非常庞大,业务人员需要承载一年上万条 OA 申请,非常低效和无序。整体而言,西湖景区存在数据分布散乱、数据中心平台支撑能力不足、数据服务能力薄弱、数据资源利用率不高、数据价值难以体现等“数字景区”建设的袋鼠云数据资产管理白皮书98痛点、难点。各渠道、各系统、各部门信息数据各自独立、信息不对称、缺乏统一标准规范,数据利用率低、数据价值未能得到充分发挥。3建设框架建设框架袋鼠云联合西湖景区共同建成西湖西溪管委会一体化智能化公共数据平台(以下简称一体化平台),一体化平台作为城市数据大脑的应用组成部分,是景区业务管辖范围内信息汇集、共享存储、数据交换和综合服务的重点内容,提供具体业务
157、功能。图 82 一体化平台技术架构(1)织就数据一张网,实现数据整合)织就数据一张网,实现数据整合汇聚共享景区数据资源,包含物联网数据,门票销售数据、最多跑一次数据等。实时统计售票量、销售渠道,动态展示售票走势,支持票务数据同期对比。出入车辆的管理、在场车辆信息查询、设备云端管理,实时分析景区车场出入流袋鼠云数据资产管理白皮书99量。入园量、出园量、在园人数、验票站检票数等客流数据实时统计,游客承载量分析预警。游客基本信息录入、游客属性分析、构建游客画像、预测游客消费偏好。(2)完成平台系统升级,完善数据支撑)完成平台系统升级,完善数据支撑平台对接城市大脑,并将原先景区各个业务系统数据对接到新
158、一代大数据平台,完成平台升级,提高数据支撑能力。核心聚焦三大功能:全面服务游客,满足广大游客全场景、全过程旅游服务需求;积极赋能商家,促进本地旅游企业更快速引流增收、规范诚信经营;有效助力政府,实现更高质量、更有效率的统筹规划、运行监管。(3)绘就资源一张图,提升景区服务)绘就资源一张图,提升景区服务景区资源“一张图”系统主要是对游步道引导、公共自行车、公厕、茶地、健身设施、灯杆、招商物业全景点、古树、指挥中心其他系统等各类景区资源空间数据进行集中管理,具有各类图形空间数据和属性数据的建库、查询、分析、维护和更新等功能。以一种科学、合理的方式将各种格式、各种来源的数据组织起来,形成一种具有较好
159、可视化效果的数据表现方式,真正实现景区信息的资源整合、管理与服务,实现值守一张图展示作战。(4)搭建统一系统平台,实现智能调度)搭建统一系统平台,实现智能调度建设全覆盖的景区数字指挥调度中心,配合新一代对讲系统,保证景区居民、游客人身安全。环境监测及灾害应急平台既可以采集环境、水位、人流、车流等数据,并结合历史数据分析,对景区可能发生的灾情进行有效预测及预警,还可在遇到灾害或突发事件时,快速启动应急预案,紧急调配相关资源,进行快速救援、有序疏散;路域交通管理平台能够引导游客有序进入景区,快速找到最佳停车位,并进行实时监控,在节假日还能发挥游客分流、交通疏导、突发事件应急处理等重要作用。袋鼠云数
160、据资产管理白皮书1004交付内容交付内容一体化平台拥有五大功能模块,分别为资源中心、审批中心、运维中心、运营中心及项目中心。图 83 一体化平台功能模块一体化平台首页可概览两端(浙政钉、浙里办)、云资源、项目资源、应用资源、组件资源、数据资源情况,实现关键指标一屏统揽。袋鼠云数据资产管理白皮书101图 84 公共数据平台展示一体化平台资源中心展示管委会全域数据资源,支持分类、自定义检索,实现资源的一键查询。便捷的资源详情查看页面,支持收藏、加购物车等,实现资源的一键申请。运营中心关注各类资源的核心指标,包括资源规模、访问情况、资源使用情况等,帮助管理人员进行合理的资源调度和工作规划。帮助中心为
161、平台的使用人员,如业务人员、开发人员、管理人员等提供必要的使用帮助,包括操作手册、开发文档、常见问题等。袋鼠云数据资产管理白皮书102四纵体系记录省市区各级单位发布的四纵体系资料,帮助数字化改革参与者理解并贯彻执行各级文件资料、技术方案、标准规范等。5建设成果建设成果通过一体化平台的建设,袋鼠云协同西湖景区建立了较为完备的景区信息资源的服务窗口,形成从数据汇集、数据存储、数据维护到数据共享和服务等一系列规范的信息流程。业务相关的数据全量整合、全网打通,打破部门边界,实现以数据驱动传统业务管理和服务模式的升级突破。袋鼠云用大数据充分挖掘分析景区的数据资源,构建景区大数据平台,赋能西湖景区数字化转
162、型,促进新时代西湖景区的高品质发展,助力其打造成为中国数字第一景。袋鼠云数据资产管理白皮书103参考资料参考资料1.开放群岛开源社区.2023 中国数据资产化发展趋势白皮书,2024.2.数据资源服务联合体.企业数据资产入表操作指引,2024.3.中国信息通信研究院.数据资产管理实践白皮书 6.0 版,2023.4.中国信息通信研究院.数据要素白皮书(2023 年),2023.5.浙江省市场监督管理局.数据资产确认工作指南(DB33/T 13292023),2023.6.上海数据交易所.数字资产应用白皮书(2023)7.数据管理协会(DAMA 国际).DAMA 数据管理知识体系指南.机械工业出版社,2020.8.信息技术服务治理 第 5 部分:数据治理规范(GB/T 34960.5-2018).9.普华永道.数据资产化前瞻性研究报告,2021.10.普华永道、上海数据交易所.数据要素视角下的数据资产化研究报告.袋鼠云数据资产管理白皮书104