数据湖和湖仓一体产业观察(1).pdf

1、数据湖和湖仓一体产业观察云计算与大数据研究所2023 数据湖和湖仓一体技术发展及现状介绍数据湖&湖仓一体产业观察信通院未来工作计划数据湖和湖仓一体技术发展及现状介绍我国大数据发展态势好动力足多年来，我国大数据高速发展，不断取得重要突破，发展态势良好。1.3万亿产业规模31%论文全球占比50%全球专利受理占比超18万家大数据市场主体超800亿元企业获投总金额近一年，我国在政策、人才、资金等方面持续加码，为大数据后续发展注入强劲动力。时间文件名称2021.11工信部“十四五”大数据产业发展规划2022.1国务院要素市场化配置综合改革试点总体方案2022.4中共中央 国务院关于加快建设全国统一大市场

2、的意见2022.12中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见147所“双一流”高校中有87所已开设了大数据专业，占比达到59%广东实施“十万”产业数字化符合性人才培训行动；浙江围绕数字人才制定“高精尖缺”人才目录；福建明确要求县级以上地方人民政府制订大数据人才发展计划人才资金宁夏对于区内符合标准的优质大数据企业给予最高300万的资金支持山东、黑龙江等省份要求省内县级以上人民政府每年需统筹安排资金专项扶持大数据相关企业江苏省每年在省级财政安排12亿元专项资金支持工业企业“智改数转”部分代表性政策大数据技术进入深度优化阶段计算实时性和数据源多样性存储使用需求催生了数据湖概念，

3、同时随着云计算技术的深入应用，数据平台技术完成了从私有化部署到云上部署再向云原生的转变20世纪60年代支撑数据存储计算的软件系统起源于本时期的数据库20世纪70年代关系型数据库诞生，并成为沿用至今的数据存储计算系统20世纪80年代数据仓库理论被提出，成为之后一段时期内发掘数据价值的主要手段2000年前后面 向 非 结 构 化 数 据 的NoSQL数据库兴起2010年前后来源：中国信通院，2022经过60余年发展，大数据技术框架趋于成熟，进入深度优化阶段。目前已经形成了以分布式数据库、数据仓库、批处理平台、流处理平台为代表的总体技术框架，并广泛应用，已能够支撑具有高并发、低延迟数据处理分析需求的

4、极端场景。企业复杂多变的业务诉求需要湖仓一体平台需求统计分析 预测分析转变单领域分析 跨领域分析转变被动分析 主动分析转变非实时分析 实时分析转变结构化数据分析 多元化数据分析转变12345随着数据类型多样化、分析场景的多元化，企业需要搭建数据平台来支撑各种数据应用系统，比如SQL分析、实时监控、机器学习等，进而助力企业加速实现数据价值变现。当前常见的数据平台架构是使用多个系统来平衡数据仓库和数据湖的优劣势。系统复杂 昂贵数据移动成本 高延迟 限制了对机器学习的支持 缺乏开放性1个数据湖N个数据仓库N个专用系统：流、时间序列、图像数据库等实时性融合性复杂多变的业务诉求湖仓一体数据平台湖仓一体提

5、升数据管理效率和灵活性统一元数据管理七大技术特性：多种数据类型分析数据治理事务支持BI支持存算分离开放型实时性湖仓一体是为解决大数据场景下的实时处理诉求高、非结构化数据治理难、系统运维复杂等问题的一种新型架构。湖仓一体打破数据仓库与数据湖之间的壁垒，融合两种架构的优势：构建在数据湖低成本的数据存储架构之上，同时具备数据仓库的数据处理和管理能力。实现方案：基于Hadoop体系的数据湖向数据仓库能力扩展基于云平台进行架构构建基于三大开源数据湖（Hudi、Iceberg、Delta Lake）的解决方案基于数据库的自研平台安全应用数据湖数据仓库数据源湖仓数据治理统一湖仓血缘统一数据管理计算流动数据湖

6、&湖仓一体产业观察中国信通院信息社会创新发展的思想库和使能者邮电部邮电部邮电科学研究院邮电部邮电分营邮电部电信科学研究规划院组建信产部信产部电信研究院组建工信部工信部电信研究院1957年1994年1998年2008年2014年工信部中国信息通信研究院国家高端专业智库产业创新发展平台国家高端专业智库产业创新发展平台发展定位文化理念发展使命信息社会创新发展的思想库和使能者厚德实学兴业致远信息社会创新发展的思想库和使能者14个业务部门政策与经济研究所技术与标准研究所产业与规划研究所云计算与大数据研究所信息化与工业化融合研究所工业互联网与物联网研究所安全研究所泰尔系统实验室泰尔终端实验室泰尔认证研究所