1、金融分布式数据库的应用与实践林林 春春太平洋保险数智研究院首席数据库专家QQ:1819442969支付宝APP微信云闪付F5/LVSF5/LVS高可用APPAPPAPPAPP.应用分布式应用负载均衡支付宝APP微信云闪付F5/LVSF5/LVS高可用APPAPPAPPAPP.应用分布式应用负载均衡业务数据业务_1业务_2业务_4业务_3业务数据 N业务数据 3业务数据 2业务数据 1分布式事务数据库业务_1业务_2业务_4业务_3集中式Oracle/DB2分布式事务数据库高可用分布式事务数据库计算节点分布式事务数据库存储节点(MySQL企业).数据库瓶颈明显分布式事务数据库水平扩展Oracle
2、/DB2为多进程模式,为多进程模式,MySQL为单进程多线程模式,分布式架构更好支撑海量连接、海量并发、海量吞吐的业务场景。为单进程多线程模式,分布式架构更好支撑海量连接、海量并发、海量吞吐的业务场景。分布式数据库对金融业的意义分布式数据库产品现状 分布式数据库产品尚需金融业务场景打磨,尚无100%成熟的分布式数据库产品。主要体现在数据库产品BUG数量较多、金融业非功能性需求适配、数据库开发及运维管理平台不够友好和数据库周边工具功能不足等方面。存量Oracle数据库迁移改造存在痛点,主要体现在应用适配评估工具需提升、存储过程改造工作量较高、迁移工具性能及稳定性需提升等。不同的分布式数据库各有优
3、劣,需根据具体业务场景适配。面上主流的分布式数据库分为基于proxy的分布式数据库和原生分布式数据库。原生分布式数据库产品具有对应用侵入性少等优点,但是比起基于proxy的分布式数据库需要有更多的代码研发和改动,数据库产品可靠性方面需要更多的验证;而基于proxy的分布式数据库也面临如何将底座集中式数据库新版本的新特性整合的问题。分布式数据库产品处于可用向好用的演进中间状态。后期分布式数据库厂商的服务及支持、数据库生态、数据库产品底层掌控能力、软硬件成本、服务成本及应用改造成本需要关注。分布式数据库产品呈现多条技术路线同时快速发展的态势。在分布式数据库选型上和使用上需要采取高度兼容的策略,结合
4、业务场景需求,在选择通用性兼容及生态较好的分布式数据库产品后,需要考虑在应用开发中简化、优化、标准化SQL,在适配分布式数据库特点、提升应用性能的同时,做到技术产品灵活可控。1.异步复制2.半同步复制3.MGR组复制高可用集群读写分离集群读MySQL从库MySQL主库写分布式数据库集群MySQL分片1主从主从主从MySQL分片2MySQL分片N业务业务1业务业务3业务N业务业务2SQL变化和分发MySQL主库MySQL从库数据量较小,单库控制在1TB以内单表记录数控制在5000W以内数据量较小,单库控制在1TB以内,单表记录数控制在5000W以内读写比差别大,可达到5:1以上数据量较大,数据库
5、单库数据量1TB以上,单表记录数超过1亿条高并发写入,要求较高TPS分布式数据库适用条件分布式数据库的功能性主要考察分布式数据库的基础功能、SQL 语法标准、数据库对象支持情况、单库事务及分布式事务支持情况、数据切片算法等分布式数据库的性能分布式数据库读写性能、TPCC、多表关联JOIN 查询的性能等分布式数据库的可靠性7*24 小时稳定性测试、模拟故障节点测试、断电断网测试等分布式数据库的安全性数据库鉴权、访问控制、安全审计、高危 SQL 拦截、数据传输加密、备份加密及等保等级分布式数据库的兼容性及可移植性支持国产芯片、国产操作系统、国产处理器、国产服务器及国产中间件分布式数据库的可扩展性自
6、动化的扩缩容操作、水平扩容对业务的无感知、扩容支持自动化的数据重分布分布式数据库的维护性故障分析、性能监测、故障自治自愈分布式数据库的易用性运维管理支持可视化方式、自动化运维及智能化分析、自动化巡检等12345678分布式数据库选型考量信创数据库工作推进思路2345知识库体系化建设建设信创数据库专业队伍制定信创数据库培训策略制定信创数据库技术支持策略16建设相关工具、平台聚焦信创数据库核心攻坚,培养全栈能力,建设专业队伍。实现信创数据库效率大幅提升降低应用改造难度与成本。建设信创数据库知识库体系,固化我司最佳实践降低信创数据库学习曲线,快速提升内部人员相应技能提供覆盖架构、开发、运维的全生命周