2-韩锋-数据库弹性设计与性能优化.pdf

1、数据库弹性设计与性能优化韩锋韩锋CCIA（中国计算机协会）常务理事，前Oracle ACE，腾讯TVP，阿里云MVP，dbaplus等多家社群创始人或专家团成员。有着丰富的一线数据库架构、软件研发、产品设计、团队管理经验。曾担任多家公司首席DBA、数据库架构师等职。在云、电商、金融、互联网等行业均有涉猎，精通多种关系型数据库，对NoSQL及大数据相关技术也有涉足，实践经验丰富。曾著有数据库相关著作SQL优化最佳实践、数据库高效优化。数据库资深从业者 韩锋频道公众号博主目录CONTENTS数据库弹性设计与实践01 数据库优化(架构、结构、语句)02 总结&致谢 03 01数据库弹性设计与实践数据

2、增长迅猛弹性设计要素弹性设计数据分片分布式资源扩缩数据分片技术数据分片技术 Partition None数据分片最为朴素的原始需求，就是来自于不断增大数据量。在早期的数据库产品，不具备分片能力，例如早期的Oracle、MySQL数据库。此时面对这种需求，普遍的解决方法主要来自两种：一是数据拆分，从根本减少数据规模；二是数据清理与归档，减少活跃数据。前者常见的策略就是垂直拆分、水平拆分，拆分之后的数据规模减小，更好处理。上述两种方法，直到现在仍然具备普适意义。虽然现在的数据库已经具备各种数据分片能力，但这些能力都是功能有所妥协后的结果。Partition Disk从本质上来讲，这种方式仍是将数据

3、的存储与计算限定在指定资源内。不同的是，从逻辑上数据进行了拆分，可以在更小粒度上进行管理与访问。典型的技术就是分区表，对用户暴露出的仍然是单一表形式，但后台数据是按分区独立存储。产品例如Oracle、MySQL等，均在后续版本中支持了分区表技术。但这种方式的缺点也很明显，就是没有真正意义实现数据的拆分，仍然是复用整体资源。适用场景：传统架构、成熟稳定数据分片技术 Partition Storage本地磁盘容量有限，因而Partition Storage方式诞生了。它是从存储角度进行拆分，可提供更大容量。比较典型的产品如Oracle RAC。云数据库产品多采用存储与计算分离技术，底层使用了云端的

4、分布式存储，提供更大的承载能力，且通过对云端底层架构的深度优化及数据库上层的适配，可提供接近传统数据库体验的同时，计算与存储能力得到大幅提升。典型产品如AWS的Aurora、Aliyun的PorlaDB等。适用场景：成熟稳定、高弹性、简捷管理、上云 Partition Engine上述产品计算能力扩展有限，无法满足非常高的计算需求。以2016年Google论文为理论基础，一系列分布式数据库涌现出来。这类产品提供了更大的存储能力及更高的吞吐算力。架构上这些产品实现了将计算部分进行从拆分，提供计算能力的扩展。典型产品，例如Google Spanner、PingCAP的TiDB、蚂蚁的OB及国外的C

5、ockroachDB等。其对外暴露的是标准的数据库能力，只是在某些细节能力较传统数据库有所减低。适用场景：数据规模大、高吞吐高并发、混合负载计算、强高可用数据分片技术 Partition All作为理想状态，采用Partition Engine的分布式数据库，已经可以完美的解决数据分片问题，但在实际场景中还存在另一些情况。这其实来自于早期互联网的快速发展，当时面临着海量数据的存储问题且没有较为成熟的分布式数据库可支撑。当时的做法是很多互联网公司在内部通过应用改造支持数据分片能力，也很好地满足自身发展。其架构特点是与应用连接更为紧密，可感知数据位置信息，从计算与存储都进行了较为彻底的拆分。理想情

6、况下，整个数据库的各个模块可以全部并发执行起来。当然这种方式的弊端也很明显，就是与应用耦合强、产品化封装差、需要用户侧处理些原本由数据库侧完成的逻辑，如分布式事务、跨片查询等等。后续这一方式产品也基于此进行了大量改进优化，诞生出不少产品或项目。诸如：开源的ShardingSphere、MyCAT或封装为标准数据库产品的如GoldenDB、TDSQL等。近些年来，随着分布式数据库的成熟，这两者的对比成为颇为瞩目的话题。个人看来，这两种方式产品能力在逐步融合，发展上逐步趋同；在细分能力上各有千秋，可满足各自擅长的场景。适用场景：数据规模巨大、极致高性能、分片定制化、异构计算数据分片技术兼容性：较单