湖仓无界：使用 Apache Doris 构建 Lakehouse -衣国垒.pdf

1、湖湖仓仓无无界界：使使用用 A Ap pa ac ch he e D Do or ri is s 构构建建 L La ak ke eh ho ou us se e衣衣国国垒垒 Apache Doris PMCDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20

2、24衣衣国国垒垒 Apache Doris PMC分分享享嘉嘉宾宾Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目目录录为什么需要 Lakehouse01湖仓一体转型之痛02基于 Apache Doris 的湖仓一体解决方案03Doris Summi

3、t Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202401为为什什么么需需要要 L La ak ke eh ho ou us se eDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris S

4、ummit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024通过统一的存储架构来管理实时和历史数据，确保数据格式和存储方式的一致性，以便于数据的高效读取和处理。实现数据的一致性管理，确保实时数据和历史数据在更新、查询时的一致性，避免数据冗余和冲突。实实时时与与历历史史数数据据一一体体化化支持批处理和流处理的混合处理能力，能够同时处理实时数据流和历史数据批次，确保数据分析的及时性和全面性。提供统一的数据访问接

5、口和优化的查询引擎，支持流、批数据的快速检索和分析，提升数据访问效率流流批批处处理理一一体体化化数数据据一一体体化化需需求求Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024利用数据仓库的高性能查询引擎加速数据分析。借助存算分离架构、对象存储等降低存储成

6、本。高高性性能能与与低低成成本本支持JSON等半结构数据得高效存储。通过倒排索引等功能提供对半结构化数据的高效访问。半半结结构构化化数数据据通过 Parquet/ORC 等开放数据格式提供数据读写开放性。通过对多计算引擎的支持，同一份数据支撑不同的分析负载。系系统统开开放放性性实现不同数据源的统一元数据表示。集中式的数据权限、质量、血缘管理。统统一一元元数数据据管管理理功功能能一一体体化化需需求求Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit