1、数据应用工程 成熟度模型Data Application Engineering Maturity Model 目录1.1 背景1.2 模型概述 1.3 适用对象 2.1 业务系统化 定义 特征2.2 业务数据化 定义 特征2.3 数据资产化 定义 特征2.4 业务智能化 定义 特征2.5 成熟度进阶3.1 数据理解 概述 业务理解 数据评估 关键点 & 难点3.2 数据准备 概述 数据获取 数据定义 数据整理 数据增强 关键点与难点引言01成熟度模型04数据应用过程 09020203050505050505060606070707071010101112121212131314153.3 数

2、据开发 概述 数据分析 数据探索 数据建模 关键点与难点3.4 部署运营 概述 数据应用 运营监控 效果分析 关键点与难点4.1 数据维度概述4.2 元数据管理 元数据概述 元数据定义及分类 如何管理元数据4.3 数据质量 数据质量概述 数据质量维度 如何进行数据质量管理4.4 数据安全 数据安全概述 如何做好数据安全管理数据应用过程 13数据维度 201515151616171717171818182121212121222222242525265.1 综述5.2 大数据工具列表 常用主要开源工具 数据仓库与数据管理工具 数据清洗、集成和 ETL 工具 BI 与可视化工具 数据建模与数据科学

3、工具【附录 1】术语【附录 2】溯源与关系 IBM- 数据治理成熟度模型 微软 - 团队数据科学模型 阿里 - 大数据安全成熟度模型 CRISP-DM 模型 御数坊 -DCMM 模型 NIST- 大数据架构【附录 3】参考文献数据工具与技术28附录 322929293030303133363638383940404201引言01引言01 背景02 模型概述03 适用对象02引言背景?在现代社会，随着企业的发展产生了大量的数据，生产部门有生产制造的数据记录，业务运营部门有营销数据，财务部门有经营数据，数据无处不在，数据又时时刻刻影响着企业运转中每个环节的决策。数据已经成为除了资金和人才以外企业新

4、的资产价值增长点。数据本身并不代表价值，数据仅仅是以一定格式对事实进行记录，是原始材料；只有结合环境和上下文的数据才有意义，这就是信息；伴随着信息的积累，我们从趋势和关系的挖掘中总结出了规律，这些规律就变成了知识；然后依据知识在企业经营中进行决策和行动，能进一步促进企业的良性循环。数据产生价值的过程需要经历获取、存储、评估、整理、增强、分析、应用等多个环节，在小数据时代这些过程都相对简单和成熟。随着近些年数据收集方式的增多、传感设备数量的增加，计算能力的增强和存储方式的改进，导致了人们可感知的数据量急剧增多；按照摩尔定律，数据生成和存储的生长速度一直在呈现指数增长。大数据应运而生，带来了俗称的

5、大数据 4V 特征：数量多（即数据集的规模）、多样性（即来自多种数据仓库、领域或类型的数据）、速度快（数据的流速）、多变性（在不同特征里的变化）。大数据的到来，使得在数据系统的演化进程中，人们对于高经济效益以及高效率的数据分析需求迫使现有技术不断变化。伴随着大数据革命，必须考虑如下四个方面的相互作用：数据集的特征、对数据集的分析、数据处理系统的性能以及对经济效益的商业考虑。这些决定了数据应用的价值效果。通过不断的实践，我们总结出了当前大数据环境下的数据应用工程 - 成熟度（LPDT）模型。?数据应用工程 - 成熟度（LPDT）模型（以下简称“成熟度模型”）主要针对大数据环境下的数据应用工程提供

6、方法论依据。 可以用来指导企业评估自身所处的数据应用成熟度阶段，也可以用来指导企业如何晋级到更高阶的成熟度阶段。 成熟度模型分为成熟度阶段 （Level） 、过程（Process）、维度（Dimensionality）和工具（Tool）四个方面展开。数据应用工程 成熟度模型（LPDT）03引言适用对象成熟度阶段（Level）分为 Level1 业务系统化、Level2 业务数据化、Level3 数据资产化、Level4 业务智能化共四个阶段；除此以外，还有一个更高阶的隐藏阶段为 Level5 企业智能化。成熟度阶段（Level）主要代表了企业在业务运转中应用数据能力的高低，可以通过过程（Pro