从数据库历史看分布式数据库的架构设计趋势_赵伟.pdf

1、分布式数据库时代分布式数据库时代数据库应用和管理新方法数据库应用和管理新方法泽拓科技创始人&CEO 赵伟 数据库技术发展历史回顾数据库技术发展历史回顾 数据库选型的新思考数据库选型的新思考 KunlunBaseKunlunBase的架构与核心能力的架构与核心能力 应用系统架构师的新应用系统架构师的新任务任务 DBADBA面临的新任务面临的新任务 KunlunBase KunlunBase的未来的未来技术技术展望展望目录目录数据库技术发展历史回顾数据库技术发展历史回顾铭记经验和教训，不要重复踩坑铭记经验和教训，不要重复踩坑启蒙、探索与发现拓荒时代的教训模块化和封装，软件复用；软件设计和研发流程；

2、软硬件分离，操作系统负责硬件资源管理数据管理与应用逻辑隔离，由专用的数据库管理系统(DBMS)软件完成走出迷昧：现代数据库技术的理论基础关系代数和SQL：“建立在数学基础上的理论才是科学”（1）事务模型和ACID：抽象的接口，分工合作 （2）高可用与持续服务能力基于复制实现高可用：服务持续性和数据价值变得重要 （3）物理复制的优缺点优：快，稳定，准确缺：数据传输量大；不容易消费MySQL Binlog的优缺点优：事务一致性；开放生态缺：事务提交性能损耗；复制性能和稳定性PostgreSQL 的逻辑复制基本上是CDC发展的曲折：NoSQL的演变NoSQL的变迁：No SQL!-Not Only

3、SQL-No!SQL!NoSQL是谁的救命稻草？NoSQL的舍与得NoSQL在哪里倒退了？数据管理的螺旋上升与价值回归分布式关系型数据库：与分库分表中间件有本质的不同 （4）使用多个服务器组成集群数据打散存储水平弹性伸缩 真正的事务性能线性可扩展容错和自动故障切换分布式分布式数据库选型的新思考数据库选型的新思考应该选择什么样的分布式数据库系统？应该选择什么样的分布式数据库系统？必备的基础能力To C业务的数据库容量能预测和规划吗？不能！必须具备水平弹性伸缩的能力数据库停服30分钟的代价？可能过亿！数据库系统必须具备金融级高可靠性服务器、网络和机房故障发生自动处理、恢复和转移数据不丢不乱，服务持

4、续在线全面提升人效人力成本是最高的成本，提升人的效率是最高的价值开发者：专注业务逻辑数据管理-DBMS项目进度和成本可控，质量可靠DBA：运维监控管理全自动化自动故障恢复和高可用完全免除人力介入辅助性能调优和故障分析数据分析数据分析的新场景分析最新的业务数据：风控，推荐实时流式汇聚多个业务系统的数据更新：ODS必备的高级SQL功能SQL兼容性视图数据安全访问控制文件加密连接控制数据有效性较验KunlunBaseKunlunBase架构与核心技术架构与核心技术KunlunBase 主要组件多个计算节点MySQL&PostgreSQL 双协议双语法分布式事务&并行查询处理存储元数据多个存储集群(s

5、hard)（HA）存储用户数据元数据集群（HA）cluster_mgr集群（HA）故障恢复，shard HA集群管理 APIXPanel集群管理、监控、告警故障分析水平弹性伸缩数据分区(partition):hash,range,list任意数量和类型的分区列数据分布(distribution)：auto,random,mirror,table grouping扩缩容：自动、柔性、不停服、无业务侵入、终端用户无感知存储和计算分离，多点读写，按需增减存储和/或计算节点金融级高可靠性自动故障恢复、转移和切换数据不丢不乱，服务持续在线确保RTO 业务和数据何时清除备份的数据和日志文件？KunlunBase未来技术展望Persistent Memory(PM)WALWAL-less计算节点多线程JIT向量化更高性能的replicationKunlunBase-1.3KunlunBase-1.3的性能目标：的性能目标：TPS TPS 翻倍，延时缩短翻倍，延时缩短50%50%以上以上超越最新版本的超越最新版本的OracleOracle和和MySQLMySQL单机性能！单机性能！KlustronKlustron数据库公众号数据库公众号欢迎扫码关注欢迎扫码关注个人微信个人微信欢迎扫码添加欢迎扫码添加