1、白皮书释放数据生态系统的全部潜力了解数据湖引擎、数据虚拟化和数据编织之间的区别 2023 Denodo Technologies2 2023 Denodo Technologies引言 在当今数据驱动的世界中，很多企业都在生成大量数据，这些数据经过有效分析后，可以提供有价值的见解。为了实现这一目标，组织需要一种能够处理数据集成、数据管理和数据交付的强大数据基础设施。目前，有三种流行的方法可为用户提供对数据的快速访问：数据湖引擎、数据虚拟化和数据编织。虽然数据湖引擎可以提供方便、可扩展的 SQL 查询功能，但它们可能并不适合所有企业。俗话说，“图一时方便，留终生遗憾”，投资数据湖引擎而不考虑未来

2、需求，可能会导致长期遗憾。因此，在选择可随贵组织共同成长的解决方案之前，必须比较和对比数据湖引擎、数据虚拟化和数据编织的功能。3 2023 Denodo Technologies数据湖的兴起近年来，数据湖特别受追捧，因为它们使组织能够存储来自各种数据源的结构化和非结构化数据。传统数据仓库要求在存储之前对数据进行结构化和清洗，而数据湖可以摄取原始数据，使用户能够直接存储和分析信息，而无需进行耗时且必须投入大量资源的预处理。随着数据量的不断增长，企业要求解决方案必须能够高效处理和分析数据以获得可行见解。数据湖允许组织在没有预定义架构的情况下以原始格式摄取数据，进而提供所需的灵活性。数据按原样存储，

3、从而实现速度更快的摄取。数据湖经过不断发展，增加了很多功能，如 ACID 合规，因此现在它们的功能可与数据仓库的功能融合。通常，短语“数据湖库”是指数据湖架构的这一后续阶段。为何您需要的不仅仅是数据湖或数据湖库数据湖和数据湖仓建立在这样一种理念之上，即组织必须首先收集并以物理方式整合数据，然后才能从中获得价值。对于很多应用场景，这可能是一种可行的方法。尽管如此，由于几个原因，数据仍将保持分布状态：一刀切行不通：有很多类型的数据平台，如操作关系数据库管理系统(RDBMS)、noSQL 数据源、数据湖和企业数据仓库(EDW)。例如，Amazon Web Services(AWS)提供超过十五种专用

4、引擎来支持各种数据模型，每种引擎都专门针对特定应用场景。事实是，没有任何一种数据平台能够支持所有这些应用场景。整合可能会被禁止：数据隐私和数据主权规则正在不断发展。某些国家/地区对原国家/地区以外的数据传输有限制。此外，某些国家/地区的隐私法律限制向第三方披露个人数据。处于法律原因，在这些国家/地区开展业务的公司可能无法传输其数据，或将其数据发送给第三方提供商进行存储或处理。现代数据架构必须适应分布式数据长期存在的趋势 三十多年来，组织一直使用的数据仓库基于相同的集中式数据架构构建。但在这段时间里，很少有（如果有）公司将所有数据成功整合到一个平台中。这可能是由于上述一个或多个原因，或者很多其他

5、原因。尽管这些平台基于云的现代版本消除了传统的本地部署的限制，简化了扩展，并且是现代数据架构的关键组成部分，但过去阻碍全面整合到一个平台的因素今天依然存在。为了成功实现数据架构的现代化，组织必须将逻辑数据管理添加到其数据策略中。4 2023 Denodo Technologies缺少的部分：逻辑数据管理现代数据架构必须平衡数据的物理收集（在集中式架构中进行）与数据的逻辑连接（在去中心化架构中进行）。逻辑数据管理提供跨所有企业数据资产的统一数据访问层，可以实现立即访问任何数据集，而无需首先拷贝或复制数据集。逻辑数据管理的优势包括：易于使用：使用者可从一个位置访问任何数据。敏捷的数据集成选项：一个

6、平台可实现几乎所有数据集成操作，包括完全复制和转换、缓存以及实时联合。集中式安全和治理：在一个逻辑数据访问层应用访问控制和策略实施，从而确保一致性。经得起未来考验：通过将数据访问与底层数据源分离，IT 部门可以自由更改底层数据存储，而不会影响业务用户。在进行更改时，更新逻辑数据访问层中的单个条目会自动将数据使用者引导到新位置，甚至不会引起察觉。企业可以按照所需速度运营，IT 部门可以按照所需速度进行更改。不断发展的逻辑数据管理生态系统逻辑数据管理领域并非新鲜事物，包含很多成熟技术和新的产品类别。在本白皮书中，我们将探讨集成和管理分布式数据的三种流行方法的优势和局限性，以帮助您做出明智的决策。数