1、1KSG 解决方案-数据湖还是数据沼泽？不要让 数据湖成为 数据沼泽数据湖还是数据沼泽？2KSG 解决方案-数据湖还是数据沼泽？简介越来越多的企业开始将他们的数据视为一项重要资产，因为数据可以帮助他们提高运营效率和盈利能力。随着人们收集时序数据方面的能力不断增强，相应的技术也逐渐增多，帮助人们深度理解这些数据。我们该如何选择正确的技术和方法来解决我们的业务问题呢？关于作者John de Koning 是工业数据处理方面的一名成功顾问，在石油和天然气行业打下了坚实的基础。作为壳牌公司的技术和创新经理，约翰在加工制造和生产数据方面采用了创新的方法，每年可以为公司创造 5 亿美元的价值。他在公司层面

2、引入数据架构，为制造和生产数据提供上下文、对数据进行集成和聚合，他是行业的领导者。他的经验和见解是这本白皮书的基础。本白皮书着重于帮助行业领导者们了解各种数据处理技术的特点，以及如何与企业数据湖计划相结合，综合使用这些技术为企业时序数据处理提供最佳解决方案。3KSG 解决方案-数据湖还是数据沼泽？时序数据解决方案有好多种。其中的一些解决方案甚至把自己装扮为数据管理的圣杯，并主张将传感器和机器数据直接传输到数据湖和云端，随后再对数据进行组织。但是工业数据流的性质以及已经存在的传统自动化设备该如何处理呢？特别是在工业数据环境领域，自动化系统的生命周期可长达 20 年，更换设备是一项巨大的投资。从这

3、些数据源向数据湖发送原始数据压根行不通，因为这些遗留的数据源根本就没有数据接口。数据访问应简单而可行，但应能支持企业范围内的报告和分析。时序数据的解决方案体系结构应遵循一些严格的规则：1.连接性确保企业解决方案能够连接各种（传统）数据源和未来的新数据源。2.时序能力系统应当能够处理时序数据（高保真、按时间索引、与时间同步）。3.上下文系统应当能够基于资产/设备，在各个数据流之间建立易于理解的关系，让用户能够在设备级别轻松比较、查看和分析数据，而无需成为 IT 专家或数据科学家。4.可访问流程用户应当能够分析数据，并对数据进行可视化呈现，从而优化使用生产设施。5.安全性确保生产设施安全可靠！不要

4、让意外的后门进入您的自动化系统。管理概述数据湖是企业收集和存储来自各种原始数据的简单方法，无需事先了解数据将如何使用。但为了通过数据来驱动业务成果，这些数据应当是有组织的、并且是可访问的。没有结构，数据湖就会变成沼泽。多种先进的实时软件系统能够与企业数据湖软件集成，帮助收集和构造数据，进而可以有效使用数据。4KSG 解决方案-数据湖还是数据沼泽？目前可用的数据湖技术常常只有一种形式，尚无能力以有效和高效的方式应对上述关键规则。为了确保来自各种（传统）源系统的数据能以正确的时间戳登录到云中、及时同步并具有正确的上下文，添加专门为此目的而设计的基础架构层非常重要。时序数据处理技术和数据湖技术（云或

5、内部部署）的结合将为企业的各个层面带来灵活性和重要性：（a）在生产层面确保数据安全并可访问；（b）在企业层面，允许为数据赋予上下文，并对数据进行整合和汇总，以实现更好的业务决策。结合实时架构和数据湖技术，可以提供不同的解决方案。根据上述规则，OSIsoft PI System 工具包与数据上下文自动化工具（如 Element Analytics 提供的工具）的技术组合是解决方案架构的主体策略，可支持运营方面的时序数据需求和企业的数据湖计划。专用的集成工具可以轻松地与云端以及企业内部的 Microsoft、SAP 或 Hadoop 的企业数据仓库和数据湖技术集成。全球能源企业这样的大公司已经证明

6、，通过引入企业工具和流程进行主动监控、基于例外的监控、旋转设备监控、基于状态的维护，余量可视化等，这样的技术组合可以轻松实现每年 5 亿美元的收益。所有这些举措将会延长正常运行时间，提升设施效率。图 1：混合环境5KSG 解决方案-数据湖还是数据沼泽？传统的数据仓库技术使用预定义的数据模型来描述数据库。其优点是用户可以预先知道数据结构的外观，缺点是不够灵活。由于新数据源的出现，以及人们期望从数据中了解更多，传统的数据仓库已经无法跟上数据模型的快速变化。变化速度是压倒性的，通过构建数据模型和数据库框架，传统的工作方式越来越难以持续。另外，传统的（数据）变更管理方式将不再适用，因为随着数据模型的快