1、云云原生原生湖仓一体白皮书湖仓一体白皮书 （2022022 2 年）年）云云原生原生产业联盟产业联盟 Cloud Native Industry AllianceCloud Native Industry Alliance，CNIACNIA 20222022 年年 1212 月月 版权申明版权申明 本白皮书本白皮书版权属于版权属于云原生产业联盟云原生产业联盟，并受法律保护，并受法律保护。转载、摘编转载、摘编或利用其它方式使用或利用其它方式使用本白皮书文字或者观点的，应本白皮书文字或者观点的，应注明注明“来源：来源：云原云原生产业联盟”生产业联盟”。违反上述声明者，本。违反上述声明者，本院院将追

2、究其相关法律责任。将追究其相关法律责任。编编 制制 说说 明明 牵头编写单位牵头编写单位：中国信息通信研究院 参与编写单位参与编写单位：北京偶数科技有限公司、中国联合网络通信集团有限公司、中信建投证券股份有限责任公司、中国人寿保险股份有限公司。编写组编写组：中国信息通信研究院：刘如明、魏博锴、杜岚、周丹颖、蔡钰、李永欣 北京偶数科技有限公司：常雷、苏景志、陈超峰、杨哲、丁冉、张立群、钟彧恒、赵德攀 中国联合网络通信集团有限公司：刘洪波 中信建投证券股份有限责任公司：马丽霞、李可、李海伟、许哲 中国人寿保险股份有限公司：陈宗坚、林志鹏、彭晓刚、陈学亮、郑晓勇 前前 言言 近年来，数据产业总体保持

3、较快发展，国家先后出台了多项政策促进数据基础设施、关键技术、应用治理等方面的健康有序发展。伴随着行业用户对于数据价值的深入挖掘，数据平台和产品正在发挥着不可替代的创新引领作用。本白皮书首先介绍了数据平台发展的三个重要阶段，通过对于发展历程的总结，引出了行业用户在进行数据分析和处理中面临的瓶颈难题，并且重点从主要架构、关键技术、方案特征、应用价值等方面介绍了云原生湖仓一体最佳解决方案。之后，通过对于湖仓生态版图、代表厂商和代表解决方案的分析，力求反应现阶段国内湖仓生态现状。最后，从银行、保险、证券用户单位的不同角度出发，开展了较为详实的场景化应用分析，并进行了总结与展望。目目 录录 一、云原生湖

4、仓一体发展历程.1(一)萌芽期：数据仓库初探数据价值.1(二)上升期：大数据平台挖掘数据价值.3(三)成熟期：湖仓一体全面展现数据价值.5 二、云原生湖仓一体方案概述.7(一)行业用户数据处理五大难题.7(二)解决数据处理瓶颈的最佳方案.11(三)云原生湖仓一体主要技术路线.23(四)云原生湖仓一体方案应用价值.25 三、云原生数据湖仓生态现状.28(一)国内湖仓生态版图.28(二)国际湖仓典型应用.29 四、云原生湖仓一体实践案例.31(一)中国建设银行从湖到湖仓一体的演进之路.32(二)中国人寿湖仓一体总体规划的研究之路.34(三)中信建投数据仓库与数据湖的融合探索之路.34 五、总结与展

5、望.36 附录：湖仓一体典型解决方案.37 1 一、云原生湖仓一体发展历程 在全球数据产业蓬勃发展的背景下，数据系统正在发挥关键的支撑赋能作用，对于数据价值挖掘和业务创新发展起到重要影响。为了应对各类用户需求，衍生出了聚焦联机事务处理、联机分析计算、事务分析混合等不同场景的数据平台。数据平台作为企业数字化转型的重要基础设施，决定了企业对数据这一新兴生产要素的应用能力，对企业数字化转型的成败起到了至关重要的作用，其发展经历了三个时期。(一)萌芽期：数据仓库初探数据价值 1.发展背景 上世纪 50-60 年代，数据管理工具以“数据库”的形式首次问世，先后基于网状模型、层次模型、关系模型等不同的数据

6、结构，出现了IDS、IMS、DB2、Sybase、Oracle 和 SQLServer 等各类产品。其中最具代表性的传统关系型数据库，本质上是通过结构化查询语句，对数据进行增、删、改、查操作，以实现在 OLTP 联机事务处理场景下对于关系型表结构数据的存储和利用。随着业务规模和类别的不断丰富，累积的历史数据越来越多，对业务数据库产生负载，导致业务系统运行速度降低。在日益激烈的市场竞争中，企业需要对积累的数据进行分析，获取更加准确的决策信息来完成市场推广、运营管理等工作。由此，提出将历史数据存储到 2 数据仓库(OLAP)解决方案，在改善业务系统数据库性能的同时，可以更专注的提升数据分析效率，辅