工商银行：2024工商银行大数据技术及应用白皮书（36页）.pdf

1、 版权说明?白皮书 工商银行大数据技术及应用 中国商银软件开发中?2024 年 10?版权说明?版权说明 本书版权属于中国商银软件开发中，并受法律保护。转载、摘编或利其它式使本书字或者观点的，应注明“来源:中国商银软件开发中”。违反上述声明者，我们将追究其相关法律责任。?1 录?录 第章 概述.2()数据技术发展历程.2()数据产业发展现状.3(三)数据产业演进趋势.9 第章 商银数据发展现状.13()数据平台产品视图.13()数据平台总体架构.14(三)基于数据平台打造企业级数据中台.25 第三章 商银数据应案例.27()基于流批体的个储蓄存款准实时计算案.27()基于实时数仓的报送解决案.

2、28(三)内外部数据融合的控业务模式.29(四)数据驱动的码上赢新型营销模式.29(五)向营销经理/运营经理的地理空间信息助.30 第四章 总结与展望.32 第章?概述?2?第章 概述()?数据技术发展历程 随着数据技术的不断迭代优化，数据处理速度、存储容量及分析精度均实现了显著提升，这些进展极地提升了计算能，引发了对算需求的显著增。同时，数据与智能、机器学习等前沿技术的深度融合，正逐步解锁数据的深层价值，为各各业提供了前所未有的洞察和决策持。在这背景下，融业作为数据密集型业，其数据业务迎来了前所未有的创新和发展机遇，不仅促进了险管理、客洞察、产品创新等的精准化与智能化，还加速了融业态与服务模

3、式的深刻变，预着数据技术在融领域的未来趋势将更加注重实时性、智能化与个性化服务的提升。1、萌芽期：传统数仓（2002-2012）企业需要对数据进全局性经营分析，由此诞了体机架构下的传统数仓。2、发展期：离线数据架构（2012-2016）随着互联的急速发展，数据规模爆发式增，体机架构以可接受的成本提供算，数据进开源时代。第章?概述?3 3、爆发期：Lambda/Kappa 架构（2016-2021）数据逐渐成为业务的重要撑，业务逐渐产时效的数据感知、分析决策、动和反馈的需求，数据向实时化演进。4、转型期（2021-2025）：云原实时架构 业务复杂度进步增加，数据源越发多样化，更便的数成为业务的

4、主要诉求，数据开始拥抱云原、AI 等其他领域。5、变现期（2025+）:数智能 数据作为核产要素，与企业竞争直接挂钩，如何将数据价值快速变现成为关注重点。()?数据产业发展现状 进“四五”时期以来，数据产业已迈个新的发展阶段，产业内部逐渐细化，形成数据存储与计算、数据管理、数据应、数据安全四核领域。数据源通过数据存储与计算实现压缩存储和初步加，通过数据管理提升质量，通过数据应直接释放价值，并由数据安全技术进全过程的安全保障。四核领域当前呈现不同发展现状，在数据要素战略的新形势下，发展向均进步明确。第章?概述?4?数据产业四核领域 核领域?发展现状?发展向?数据存储与计算 实现了海量数据的效存储

5、、计算 降低运维成本，提升处理效率 数据管理 头部业实现关键数据的管理 各业均实现全域数据管理 数据应 撑核业务分析和顶层决策 与全域业务深度融合 数据安全 推进外规内化与险治理 将安全治理能嵌业务 数据技术在数据存储与计算、数据管理、数据应、数据安全四产业领域有不同的发展，存算分离架构、融合体衍进、智能增强分析、数据研发运营体、内安全技术 5 项成为关注和发展焦点，国内外市场均涌现不少相关产品和案。1数据存储与计算领域【存算分离架构】存算体架构下，数据数据处理产品的存储节点、计算节点功能耦合或者部署耦合，存在部署规模上限低、计算弹性扩缩困难、存算故障隔离弱等问题。存算分离的弹性计算、规模上限

6、、存算故障隔离等架构优势，能够提供更好的算保障和运维灵活性，有助于应对规模数据分析的挑战，从提供更好的数据驱动决策的持。近年来，业界存算分离的主流产品和样板技术也益涌现。主流产品有Apache Doris、阿巴巴Hologres、腾讯TCHouse、偶数科技HashData 第章?概述?5 等。融业中，建联合 HashData、云，推出了云原数据库产品“趺”，实现了基于虚拟机部署的存算分离架构。数据中间件技术，开源的缓存层框架 Alluxio 向上对接 Spark、Presto、Hive、TensorFlow 等计算应，向下对接阿云 OSS 对象存储、AWS S3 存储、HDFS 等不同存储，