专场12.4-阿里云数据湖与湖仓架构设计与实践-范佚伦.pdf

1、阿里云数据湖与湖仓架构设计与实践范佚伦（子灼）阿里云 技术专家1 数据湖与湖仓一体什么是数据湖A data lake is a system or repository of data stored in its natural/raw format,usually object blobs or files.A data lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such

2、 as reporting,visualization,advanced analytics and machine learning.A data lake can include structured data from relational databases(rows and columns),semi-structured data(CSV,logs,XML,JSON),unstructured data(emails,documents,PDFs)and binary data(images,audio,video).A data lake is a centralized rep

3、ository that allows you to store all your structured and unstructured data at any scale.You can store your data as-is,without having to first structure the data,and run different types of analyticsfrom dashboards and visualizations to big dataprocessing,real-time analytics,and machine learning to gu

4、ide better decisions.Azure Data Lake includes all the capabilities required to make it easy for developers,data scientists,and analysts to store data of any size,shape,and speed,and do all types of processing and analytics across platforms and languages.数据湖是统一存储池，可对接多种数据输入方式，您可以存储任意规模的结构化、半结构化、非结构化数

5、据。数据湖可无缝对接多种计算分析平台，直接进行数据处理与分析，打破孤岛，洞察业务价值。同时，数据湖提供冷热分层转换能力，覆盖数据全生命周期。n 相比于传统数仓内置存储，数据湖通过存算分离实现统一存储统一的存储，解决数据孤岛问题灵活性强，存算分离，开放的数据，多种引擎分析n 相比于传统数仓事前建模，数据湖可以保存原始数据事后建模云上大规模、高可用、低成本的中心化存储数据类型丰富，支持结构化、半结构化、非结构化数据类型存储原始数据，避免数据丢失n 相比于传统数仓，数据湖缺乏数据治理、性能安全，权限事务性数据质量性能数据湖与数仓融合，实现湖仓一体n 云上数据湖优势利用开源软件，启动成本低，灵活性强计

6、算存储分离，一定的成本优势计算引擎丰富，多种场景覆盖n 云上数据仓库优势全托管，免运维统一的权限身份认证针对特定场景，高度优化的引擎n 通过打通湖仓数据互通实现湖仓一体将数据湖、数仓的元数据打通数仓支持读写云上对象存储数仓通过cache加速数据湖读写数据湖逐渐支持数仓能力，实现湖仓一体n 元数据统一与数据湖管理统一元数据层查询和定位数据开放的数据格式支持多引擎直接读取统一的元数据/SQL API统一权限提供企业级数据管理和安全的能力n 数据湖查询优化数据缓存加速数据索引加速n 利用数据湖格式实现事务层支持ACID事务隔离，解决读写冲突支持多版本时间旅行，指明每个Table版本所包含的数据对象同