《中国⼯商银⾏软件开发中⼼：2024工商银行分布式技术及应用白皮书（21页）.pdf》由会员分享，可在线阅读，更多相关《中国⼯商银⾏软件开发中⼼：2024工商银行分布式技术及应用白皮书（21页）.pdf（21页珍藏版）》请在三个皮匠报告上搜索。

1、?版权说明?白皮书 工商银行分布式技术及应用 中国商银软件开发中?2024 年 10?版权说明?版权说明 本书版权属于中国商银软件开发中，并受法律保护。转载、摘编或利其它式使本书字或者观点的，应注明“来源:中国商银软件开发中”。违反上述声明者，我们将追究其相关法律责任。?1 录?录 第章 概述.2()分布式技术发展历程.2()分布式技术产业发展现状.3(三)分布式技术产业演进趋势.4 第章 分布式体系发展现状.5()分布式技术平台产品总视图.5()分布式各平台建设现状和成果.5(三)分布式体系业务场景落地.12 第三章 分布式体系应案例.13()构建开放平台核银系统，实现型银 IT 架构关键性

2、突破.13()全位满及适应银复杂场景的需求.14 第四章 总结与展望.17 2 第章?概述?第章 概述()?分布式技术发展历程 分布式技术系统是种建在络之上的软件系统，其特点是多台计算机通过络连接，协同作以完成特定的任务。每个节点度治，感知不到数据的分布，感觉像是在使个统的系统。分布式技术体系的发展共可分为以下四个阶段。1、原始分布式时代（20 世纪 70 年代末到 80 年代初）：这个时期的特点是计算能常有限，科学家们通过多台计算机协同作来完成复杂的任务，奠定了分布式计算的基础。这个时期的探索出现了远程调（RPC）和分布式件系统的雏形。2、分布式计算的兴起（20 世纪 90 年代）：随着技术

3、的进步，分布式计算开始兴起，特别是分布式渲染和向服务的架构（SOA）的提出和应，使得分布式系统在处理规模计算任务时更加效和灵活。3、微服务架构的时代（2005 年以后）：微服务架构的崛起进步推动了分布式技术的发展，使得系统更加模块化，易于管理和扩展。4、云计算和虚拟化技术的发展（21 世纪初今）：随着云计算和虚拟化技术的发展，分布式系统进步发展，形成了资源池和弹性调度的云计算模式和云原架构。3 第章?概述?()?分布式技术产业发展现状 以微服务为核的分布式技术在产业界已基本发展成熟。在分布式技术架构建设过程中，基于以微服务为核的开放式架构，不断拓展周边态，利微服务实现应的分层解耦，通过分布式数

4、据库实现开放平台数据的弹性布局，利缓存提升频数据的处理能，引分布式事务解决跨平台、跨应的事务最终致性问题。随着微服务、软负载、事务、消息、批量、缓存、数据库、对象存储、件存储等能的建设，分布式系统的撑场景及运能持续提升，并同步形成了与分布式架构相匹配的研发及运维撑能。根据对业界分布式技术产品的综合分析，分布式架构技术能图谱如图 1 所。Dubbo 起步早、是最受欢迎的微服务框架，SpringCloud 也是主流选型之；分布式事务多采研，但模型以 TCC、SAGA 及可靠消息为主；软负载，HAProxy 及 Nginx 能各有千秋；Kafka 与 Redis 处于消息和缓存领域的统治地位；原分布

5、式数据库应较少，基于 Mysql+分布式访问层是数据布局选型的主流技术案；Springboot 凭借简化研发成为开发框架的标配；Apollo、ELK、Zipkin 等是配置及监控的典型选择；熔断限流 Hystrix 和 Sentinel 均有尝试；等少数银已基于Chaosblade 开展混沌程实践。4 第章?概述?(三)?分布式技术产业演进趋势 微服务架构推动应从传统单体式向分布式转型，实现了应系统的解耦，但同时也临着需要持多种语中间件，客端版本升级困难等问题。因此产业界逐步从软件层独应对微服务架构问题，发展到软、硬体，合应对微服务架构问题。如 Service Mesh（服务格）架构的理念，通

6、过技术平台的基础设施化改造，将分布式能逐步下沉到硬件层，实现与应解耦，简化应开发过程，提供应更的技术选型灵活度。如云原应运时架构，通过集成 SDK 内核，统交互协议及对外 API，实现能的抽象，使分布式能进步下沉基础设施。?5 第章?分布式体系发展现状?第章 分布式体系发展现状()?分布式技术平台产品总视图 商银分布式技术体系向产运环节，建设了分布式服务、软负载、事务、消息、批量、缓存、数据库、对象存储、件存储等九运撑平台，实现公共技术能的集约建设与运营。()?分布式各平台建设现状和成果 1软负载均衡 软负载均衡由四层负载节点（LVS/DP）和七层负载节点（Haproxy/Nginx）、管控平

7、台个部分组成，具备可、可扩展、动态配置等特性。6 第章?分布式体系发展现状?其泛使在银核互联应系统，如电银、电商城、快捷付、卡组织付等，提供银应提供负载均衡撑。均处理请求百亿级，经历了多次“纪念币预约”“双快捷付”的产并发考验，满了“双”万级 TPS 处理需求。2分布式服务 分布式服务采性能 RPC 调模式，为应提供了性能、灵活、可扩展、可的运式，为业务研发提供了效、标准化、可复的开发模式。?7 第章?分布式体系发展现状?分布式服务平台提供了媲美主机的可，更的横向扩容能，前已落地超 2 万个服务，均调量 260 亿次。3分布式事务 分布式事务提供 SAGA、TCC、可靠消息等事务解决案，具备多

8、级事务失败处理机制，并提供事后的站式运维管理能，持应侧部署和集中部署两种式。8 第章?分布式体系发展现状?分布式事务平台泛应于账、客、介质等银核业务，为应服务化改造及主机下平台过程中的跨服务、跨应交易的事务最终致性提供保障，平台均撑业务调量数亿次。4分布式消息 分布式消息平台基于业界主流消息引擎 Kafka 建设，为分布式系统内部以及系统间异步解耦、消息通知、流量削峰、数据共享等场景提供解决案，并具备节点安装部署、监控告警、平扩缩容等完善的动化运维能。消息平台服务于百余个应，均消息量千亿级，TPS 百万级，具备毫秒级消息传递能。5分布式数据库 分布式数据库采分布式数据访问层+MySQL+研运维

9、管理平台?9 第章?分布式体系发展现状?搭建模式，规模实施云化部署，具备键式快速供给能。并在云化部署基础上，同步建设性能容量、健康检查等丰富的监控机制，以及可、快速扩展、数据备份/灾备、安全审计等企业级撑能，具备动化运维能。分布式数据库在在同业率先实现 MySQL 数据库规模云化服务，数据库节点数量达到数千个，应于多个重点业务场景，撑双、春节业务峰万级 TPS。6分布式缓存 分布式缓存平台，基于 Redis 定制化扩展，主要于缓存数据共享，提升服务性能，降低数据库读写压等场景，具备性能、动态扩展、可、易性四特性。10 第章?分布式体系发展现状?平台泛应于结算账、电银等业务场景，已在纪念币、融

10、e联、融 e 购、业务信息辅助服务等数个应落地，前集群规模上百套，均交易量达亿级。7分布式批量 分布式批量平台完全研，主要于集中式批量业务分布式转型后，不能与分布式应有效适配，存在单点故障、性能容量上限的问题。平台通过数据分、作业编排、动调度等功能提升批量并处理能，缩短运时间，并具备可、易扩展和完善的运维能。?11 第章?分布式体系发展现状?分布式批量平台泛在开放平台体系中使，服务于数百多个应，涵盖渠道、业务超、业务基础、技术基础等各类应系统，均调度超数百万次作业。8分布式件存储 分布式件存储，主要解决传统共享存储可能低的问题，撑我开放平台业务系统件共享存储需求，并打通云上云下应的件共享，具备

11、可、平扩展、集约管理等能。平台已落地应数余个，对外提供总计百余 TB 的共享件存储能。9分布式对象存储 分布式对象存储平台，实现海量件快速读写，为内的业务 12 第章?分布式体系发展现状?影像类、与业务流程密切相关的视频类，业务档类等结构化数据提供并发数据访问能。平台已成功撑数余个应系统，满融 e 联、融 e 购等互联应对象密集存储的需求，持万级 TPS，数据存量已经达到千余 TB。(三)?分布式体系业务场景落地 开放平台分布式技术在境内系统已实现规模应，基于开放平台分布式架构已能实现核业务完整闭环处理，型商业银的“平台版”核银系统已初具雏形。此外，基于开放平台分布式技术体系建了境外核银系统，

12、并已在印尼、莫斯科等境外机构的推应。前分布式架构转型应数超 250 个，服务均调量超 260 亿，峰值万级 TPS，交易响应耗时 50 毫秒以内。?13 第三章?分布式体系应案例?第三章 分布式体系应案例()?构建开放平台核银系统，实现型银 IT 架构关键性突破 基于分布式技术体系，我初步构建起包括业务基础服务、核账体系、重点产品服务等体系完整的开放平台核银系统（境内）。业务基础服务提供企业级公共服务，包括机构管理、柜员管理、会计核算、客信息等为客及内部管理服务的公共基础功能，撑业务交易在开放平台闭环处理；核账体系包括资账、交易账、权益账等完整的账服务，提供收、付、管等核融服务；基于业务基础服

13、务和账体系，实现了快捷付、积存、账外汇等产品下移主机，打造开放、融合的融态体系，有效撑频业务的快速增。14 第三章?分布式体系应案例?()?全位满及适应银复杂场景的需求 分布式技术体系经过规模的主研发及技术创新，泛适于融复杂场景的需要，已规模覆盖账务型、信息型、交互型、转发型等典型的应场景。1、为账务型应提供性能、强致性事务保障。依托分布式技术建设个账应为客提供基本结算服务。通过 Mysql 本地 SSD 磁盘部署+分库分表，提供单库 5 万 QPS 的更新性能；通过分布式事务框架，提供跨应、跨节点的事务致性保障；通过 Mysql 主三备+同城动化切换技术，确保 2 分钟内完成同城损切换。是国

14、内家采分布式技术进规模账务处理的银，承载 9 亿个借记卡数据，可持 6 万 TPS 交易率，交易响应时间 50 毫秒以内。?15 第三章?分布式体系应案例?2、为型信息型应提供低成本解决案。通过分布式技术建设企业级客信息，为全业务系统提供客信息维护与查询服务。通过使主研发基于分布式数据访问层技术的分布式数据库实现对应透明的智能路由访问，撑容量数据分存储，实现整体集群的横向扩展与数据再平衡，满海量数据库操作的性能要求，幅降低应研发成本。为全 180 多个总分应提供均超 2 亿次维护与查询服务，持最交易并发数为 7600TPS，平均交易耗时于 30ms，撑应范围同业最，均访问数量同业最多。3、为互

15、联交互型应提供极致体验。依托分布式技术建设纪念币预约系统，为全国互联提供纪念币预约服务。络层采取多种负载均衡措施，后台系统采分布式技术体系设计，结合服务器云化 16 第三章?分布式体系应案例?部署、数据库分库分表及可设计，提升系统并发处理能。采CDN 缓存、分布式缓存等多种措施，提升系统快速响应能。系统可撑万 TPS 处理能，交易响应时间百毫秒以内，成功完成历年纪念币发任务，同业综合表现尤为突出。4、为流转发型应提供并发、可靠的弹性持。依托分布式技术建设快捷付应，对接清算机构为个客提供快捷付结算服务。通过横向扩展对等应节点分散承载并发交易，通过应节点云实现快速弹性伸缩，通过数据库垂直/平分库分

16、散并发数据访问压；通过应和数据库节点同城部署、并以不同应分别处理联和银联的交易，确保可。作为业内领先的型发卡银，快捷付业务内部压测可达近万 TPS，顺利完成历年“双”、春节红包等峰期保障，“双”全天交易量超 2 亿笔。17 第四章?总结与展望?第四章 总结与展望 已构建完备构建分布式技术架构体系并深使，伴随着分布式技术体系进步成熟，未来将有以下三个趋势推动分布式架构持续发展。1、分布式技术体系进步下沉基础设施 微服务架构推动应从传统单体式向分布式转型，实现了应系统的解耦，但同时也临着需要持多种语中间件，客端版本升级困难等困难。为了解决上述挑战，社区提出了 Service Mesh（服务格）架构

17、，它重新将服务治理能下沉到基础设施，这样既实现了服务治理和业务逻辑的解耦，使服务格架构减少对业务逻辑的侵性。但服务格架构的定位主要是络流量代理，对于跨语、跨业务部署应，仍未能统 SDK 及交互协议。因此业界提出了云原应运时架构，通过集成 SDK 内核，统交互协议及对外 API，实现能的抽象。或许云原应运时是中间件基础技术的未来形态，使分布式能进步下沉基础设施。2、多地多中及单元化部署是未来基础设施的趋势 18 第四章?总结与展望?前型融机构的数据中多数均采两地三中的部署架构，随着对可要求的不断提，多地多中的部署模式逐渐成为未来的发展向。互联头部企业较多通过多地多中及单元化部署来实现更加细粒度的流量划拨和系统可，使得客交易相关流量可在单元内部最限度完成闭环，可在区域性故障场景有效控制故障爆炸半径，在降低切换粒度的同时提升切换灵活性，有效克服数据中距离带来的络延时损耗，幅提升应对数据中所处位置的适应能。我已布局并初步建成单元化架构模式，为后续往多地多中的架构打下基础。3、依托型融机构分布式转型最佳实践，加速同业转型升级 型融机构在分布式转型过程中，通过将的转型实践经验固化并推，识别业共性需求，打造融业分布式技术平台标准解决案，借助产品服务能输出的式为融同业提供转型的最佳实践与范。中融机构依托成熟的分布式架构转型输出案，加快数字化转型进程，共同建融科技新态。19 第四章?总结与展望?