1、 海量数据处理技术金融应用研究报告 北京金融科技产业联盟 2024 年 1 月海量数据处理技术金融应用研究报告 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本报告文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。海量数据处理技术金融应用研究报告 编制委员会 编委会成员：何 军 聂丽琴 胡利明 周刚慧 编写组成员：艾轶博 鲍 玲 曹 骏 陈 明 戴大海 郭龙飞 火雪挺 江 灏 姜 江 靳悦荣 李晨宇 罗 俊 杨文龙 刘亚龙 潘熙文 佘万君 唐天辰 王 锋 王良杰 王 能 许耀栋 徐晓敏 杨景瑞 袁 一 张 昆 张敬之 张 毅 周 飞 周

2、允 编 审：黄本涛 郭 栋 刘宝龙 海量数据处理技术金融应用研究报告 牵头单位：深圳市腾讯计算机系统有限公司 兴业银行股份有限公司 参编单位：中国工商银行股份有限公司 中国银行股份有限公司 浙商银行股份有限公司 飞腾信息技术有限公司 深圳市连用科技有限公司 北京科技大学 海量数据处理技术金融应用研究报告 目 录 一、发展概况一、发展概况.2（一）法律法规和政策环境.2（二）技术发展阶段及特征.5（三）技术框架与形态.9 二、应用情况二、应用情况.15（一）平台建设应用情况.15（二）技术应用情况.20 三、主要挑战三、主要挑战.28（一）数据存储的挑战.28（二）数据计算的挑战.29（三）云化

3、计算的挑战.31（四）融合计算的挑战.32（五）研发运营一体化的挑战.33 四、关键技术与建设思路四、关键技术与建设思路.36（一）云数一体化.36（二）存算分离化.44（三）数据湖仓化.50（四）计算融合化.59（五）研发运营一体化.68 五、发展趋势和展望五、发展趋势和展望.78（一）生成式人工智能驱动数据技术方面.79（二）实时数据湖仓方面.81（三）数据网格方面.90（四）数据编织方面.93 六、实践案例六、实践案例.95 海量数据处理技术金融应用研究报告 1 摘要：摘要：海量数据处理是金融业大数据技术领域的关键难点，对金融业海量数据进行高效的存储、计算、分析和运营，将有效帮助金融机构

4、深度挖掘数据的潜在业务价值，实现降本增效。现阶段，金融业在海量数据处理方面呈现出“五化”的技术趋势，即云数一体化、存算分离化、湖仓一体化、计算融合化与研发运营一体化。其中一些新的关键技术已在部分金融机构进行了较深入的实践应用，取得了可观的成果。但是，作为一项复杂的课题，海量数据处理还面临着技术、产品、应用等多方面的挑战和痛点，且这些难题当前尚未进行全面的研究和分析。因此，本报告对海量数据处理的技术、应用、建设等方面进行系统的分析，从行业发展、应用情况、落地痛点以及关键技术等多个维度展开研究，结合我国金融业多个典型案例，论证这些关键技术和实施路径的有效性和可行性，并对一些诸如人工智能、数据湖仓、

5、数据网格等前沿数据技术应用进行初步分析，探讨金融业未来的数据技术发展趋势。兴业数字金融服务（上海）股份有限公司为本报告的编制提供了支持。中信建投证券股份有限公司、上海汽车集团财务有限责任公司为报告编制提供了行业案例。海量数据处理技术金融应用研究报告 2 一、发展概况（一）（一）法律法规和政策环境法律法规和政策环境 在金融业早期阶段，数据处理主要集中在银行和证券公司的业务数据处理，以及金融管理部门的监管工作中。相关法律法规和政策主要包括 1983 年 12 月 8 日第六届全国人民代表大会常务委员会第三次会议通过的 中华人民共和国统计法，以及1994年 2 月 18 日中华人民共和国国务院令第

6、147 号发布的中华人民共和国计算机信息系统安全保护条例等。这些法规为金融数据处理提供了基础的法律保障，确保了数据的准确性和安全性。在信息化阶段，随着信息技术的不断发展，金融业数据处理技术逐渐成熟。在这一阶段，金融业开始将数据处理技术应用于更多的领域，如互联网金融、金融风险控制等。相关法律法规和政策主要包括十二届全国人大常委会通过的 中华人民共和国网络安全法，以及中国人民银行等十部委发布的关于促进互联网金融健康发展的指导意见（银发2015221 号）等。这些法规促进了金融业的信息化进程，为金融业的快速发展提供了有力的支持。在数字化转型阶段，金融业开始迈向全面数字化。在这一阶段，金融业数据处理技