海量高并发数据库国产化改造及应用.pdf

1、海量高并发数据库国产化改造及应用郑鸿健中移信息技术有限公司自 主 创 新 引 领大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会数据库国产化的背景数据库国产化的挑战与探索主流的数据库架构未来展望0 01 10 02 20 03 30 04 4目 录Contents大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会

2、大数据技术标准推进委员会大数据技术标准推进委员会第一部分 数据库国产化的背景Chapter 01大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会数据库国产化的背景数据库国产化战略要求核心技术要求：自主可控、安全可靠、高效开放业务要求业务高速发展单机数据库瓶颈大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据

3、技术标准推进委员会大数据技术标准推进委员会第二部分 主流的数据库架构Chapter 02大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会主流的数据库架构红色表示共享资源蓝色表示无共享资源DBDBDBDiskDiskDiskProxyShared-NothingDB分布式存储DBDBShared-StorageDBDiskShared-Everything大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数

4、据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会数据库采用集中式数据库3+2部署主set：1主2备跨同城3IDC部署备set：1主1备异步复制架构优点1、简单的主备模式，方案成熟稳定2、同城IDC间RPO=0，RTO秒级3、应用层实现多活架构缺点1、无法通过set拆分的业务容易达到瓶颈2、跨set事务复杂（但业务上极少使用）3、成本较高大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大

5、数据技术标准推进委员会大数据技术标准推进委员会负责SQL解析、事务等，无状态，可扩展计算The log is the database基于物理日志复制采用Quorum机制确保数据保存多份存储大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会GTM全局协调协助分布式事务管理，包括生成、释放全局事务ID、维护活跃GTID的快照等Proxy/计算节点分布式优化、执行具体的分布式计划、事务控制、存储节点负载均衡等。存储：MySQL（二开）

6、底层基于MySQL进行二开大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会调度：PD（Placement Driver）负责各副本的迁移调度，集群整体负载的均衡，数据收集等计算：TiDB负责将库表中的数据映射至TiKV、SQL解析、运算制定及优化执行等存储：TiKV基于raft协议解决副本间的一致性及可用性大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数