林春-金融数据库转型方法与实践(0103).pdf

1、/2024.01.04/金融数据库转型方法与实践演讲人中国太保数智研究院首席数据库专家林春金融数据库转型方法论PostgreSQL最佳实践PostgreSQL表膨胀预识别与优化CONTENT金融数据库转型方法论/2024.01.04/数据库能力建设整体框架数字化转型能力建设分布式数据库运维平台故障隔离弹性扩、缩容批量作业全栈故障定位异地容灾定制化适配同城双活一键安装部署补丁包升级自动化运维数字化转型迁移支持平台冗余索引瘦身冗余表瘦身失效对象识别日志负载画像高开销 SQL 画像预扫描识别SQL 审核平台执行计划检查多表连接检查低效 SQL 检查字符集检查分布式设计检查基础赋能平台基础PaaS 运

2、维服务 安装部署服务 迁移服务定制化数据库培训 测试支持 性能优化 架构设计 问题咨询规范文档建设 开发规范 安装部署规范 运维规范分布式域名规范核心攻坚支持周边工具适配 集群设计规范Oracle 迁移 手册 监控阈值说明 问题排查手册报表及导数性能数据库配置优化核心攻坚关键点梳理及目标数据库选择架构方案规划迁移、切换方案关键模块性能提升数据生命周期管理资源规划及资源弹性扩缩容全链路故障快速定位分布式架构、应用设计核心能力提升数字化转型攻坚大讲堂新员工入职数据库培训联合数字化转型测试实验室 知识库体系建设数字化转型路线指引 硬件资源计算模型规划、管控 应用改造工作量模型 开发调优手册同城双活异

3、地容灾能力建设故障隔离及范围控制快速迁移、数据比对、数据回写 软硬件、服务成本估算模型/2024.01.04/数字化转型改造降本方法论高频高逻辑读SQL优化；游标未关闭泄露排查；数据库瘦身等 数字化转型成本优化技术路线数字化转型赋能（杠杆）应用改造测试成本迁移优化硬件成本架构设计综合软硬件成本、业务场景需求、产品收敛原则问题识别SQL 优化改造 Oracle 侧前置太保应用预扫描工具“指南针”经营化，预期问题识别环节降本 50%研发优化辅助工具，结合 SQL 审核、调优培训和开发规范，预期提升优化环节人工成本 30%影响迁移性能，不兼容的关键卡点 降C缩容评估 数据库降 C 缩容存储利旧硬件资

4、源估算模型大对象从数据库拆离存储推广国产数据库认证、数字化转型攻坚大讲堂案例分享、知识库沉淀依赖重AP场景拆离到数据中台PostgreSQL设计实践7分布式表类型描述表设计类型注意事项基础代码表包括险种、部门、机构等信息，数据量较少，DML操作不频繁，存在与其他业务表较多连接。建议设计为复制表。以减少跨节点开销单表数据量较少，创建索引与全表扫描性能差异较小，但是由于存在与其他大表连接，有无索引性能会有放大效应，建议按照业务实际需求在连接字段创建索引；对复制表的高频更新、删除会存在较大开销且可能导致分布式死锁。业务流水表业务流水表跟业务本身性质、保单跟险种性质相关，包括财务流水表、事件流水表、申

5、请流水表等，数据量通常较多。建议设计为分片表。单片数据量不超过32GB。对于索引需要根据数据分布、sql访问特点、表连接字段等构建索引组合，实现以尽可能少的索引满足尽可能多的数据读取要求；对于更新频繁的表需要考虑将表的fillfactor因子降低；对于通常23年归档的事件流水表等需要考虑分区、归档需求。临时表系统临时表对临时数据进行处理；业务临时表 用于简化交易统计。建议设计为分片表。PG基座数据库自身的临时表类型存放在CN节点，性能不及普通表，禁止使用，建议替换为普通分片表，使用前做truncate操作。中间表数据加工过程中用于核对。根据数据量和使用特点选择合适类型。日志表主要用于阶段性用途

6、，生命周期结束后不再使用。根据数据量和使用特点选择合适类型。需要考虑及时对日志表进行分区，便于归档，以降低冗余数据成本。流程状态中间表记录流程记录中间状态,包括流程驱动所有环节。根据数据量和使用特点选择合适类型，审计、合规使用，一般回溯周期在五年以内。需要根据数据生命周期，制定相应数据分区、归档策略。运营数据报表根据数据类型，选取合适的分区表。根据数据量和使用特点选择合适类型，推荐全局表。针对日报、月报、年报等类型，创建不同的分区表。历史数据表存放例如流水归档等历史数据，用于回溯。建议设计为分片表，再做一层分区表。根据业务字段做分片，再使用时间字段做range分区，便于归档。常见业务表设计参考