关系型分布式数据库最佳实践.pdf

《关系型分布式数据库最佳实践.pdf》由会员分享，可在线阅读，更多相关《关系型分布式数据库最佳实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、关系型分布式数据库最佳实践阿里云GTS-王宗瑞MySQL DBA负责百度分布式数据库方向百信银行分布式数据库设计主导网盘用户元信息分布式数据库，冷热数据分离设计、落地DB-SA负责阿里云政府、能源、新零售行业数据库商机拓展和轻交付负责数据库架构师团队解决方案与最佳实践沉淀输出负责分布式数据库中间件技术售前方向DB-TM参与保险TOP客户核心业务系统从Oracle向原生分布式数据库迁移改造负责数据库交付标准化+工具化方向推进负责国产数据库改造“交付平台化”方向规划与落地分享人简介01/数据库从集中式到分布式的演进02/分布式数据库分类03/关系型分布式数据库最佳实践04/关系型分布式数据库总结与

2、展望数据库从集中式到分布式的演进视图触发器存储过程事务传统单机数据库虚拟化计算层云存储层云原生数据库中间件1.分布式数据库中间件2.原生分布式数据库通用性强，特性全可控数据规模性能优秀受单机资源瓶颈制约资源难以扩展水平拆分场景性能优异资源可线性扩展需解决分布式事务、一致性研发人员入门门槛高计算存储分离资源弹性伸缩单机数据库特性强兼容对云平台强依赖Proxy集群化什么场景适合选择分布式数据库高并发查询高并发更新（事务）海量在线数据存储单表数据量大，性能退化实时复杂分析查询超时国产化数据库改造数据库异地容灾1.只读副本，读写分离2.热点缓存（分布式缓存）1.数据垂直拆分2.分布式数据库 分布式数据

3、库1.数据归档2.索引调优3.分布式数据库中间件1.流计算、预计算 2.分布式HTAP、OLAP数据库 原生分布式高兼容数据库方案选型优先级 原生分布式数据库分布式数据库选型基于应用场景的分类在线事务OLTP在线事务OLAP非结构化&专有领域NOSQL分布式数据库中间件原生分布式数据库ADB分布式缓存文档数据库宽列数据库专有领域CODIS副本集关系型分布式数据库最佳实践分布式数据库中间件场景一 单机数据库演进分布式1.业务增长迅速，单机存储瓶颈，并发更新瓶颈2.大表DDL耗时长，冲击业务IO痛点问题Big TableTableHot Table普通单表业务大表/热点表MySQL单机平滑演进Ta

4、ble普通单表分布式MySQL单机P0P1P2P3P4P5分片表分片表MySQL单机1.大表拆分键选择、小表广播2.分布式事务保证3.分布式ONLINE DDL4.增量数据实时回流核心技术场景二 线性平滑扩容Partition 1Partition 2Partition 4Partition 5Partition 7Partition 8Node 1Node 2Node 3Partition 3Partition 6Partition 9Node 4Node 5Node 6CN1CN2CN3CNDN计算层无状态扩容添加新节点，修改LB路由存储层有状态扩容需要做数据迁移Partition 1Pa

5、rtition 5Partition 9Load Balance1.突破单机瓶颈，扩容对业务应无感知2.存在热点数据，拖累同分区数据访问3.分布式中间层同样存在计算瓶颈痛点问题1.partition数据全量+增量迁移+数据校验2.扩容粒度层级：库级别表级别 避免大表和清理问题2.透明分布式(SQL+事务)=分片对业务透明3.HTAP分析（并行计算）=历史数据报表分析Tableinsert into msg(id,time)values(325,2021.01.31)2020.062020.072021.012020.05数据库内置定时任务(event事件)2021.02创建新分区处理历史分区处

6、理策略：过期清理转移到归档数据压缩存储1.在线业务表中数据量过大，性能恶化2.存储增长导致昂贵的在线数据库存储成本企高3.手工归档操作繁琐易出错，对IO有冲击4.在线服务有访问归档需求需要切换入口痛点问题1.归档策略可配置，自动清理过期数据，自适应限速2.归档数据访问路由与在线路由归一化3.归档库自动调度廉价存储设备4.并发查询提高分析效率核心技术分布式数据库中间件设计最佳实践1.确保分布式表拆分键是业务最常用的等值查询条件，数据分布均匀度其次考量2.底层是MySQL数据节点innodb引擎条件下，单行长度不建议超过2KB，以此为条件，数据量不超过2kw，一般不会出现单表性能瓶颈，不必拆分3.