张建-TiDB 查询优化器的历史（GOTC深圳会场）（34页）.pdf

1、分布式数据库与存储专场分布式数据库与存储专场张建 2021 年 08 月 01 日张建 2021 年 08 月 01 日本期议题：A History of TiDB Query Optimizer张建，开源爱好者，TiDB MaintainerTiDB SQL 团队负责人兼 TiKV 产品负责人PingCAP前 MaxCompute 执行引擎研发Alibaba关注数据库、分布式系统、开源软件与社区等领域Email:About MeAgenda01Whats TiDB02The History of TiDB Optimizer03Future WorkWhats TiDBWhats TiDBT

2、iDB：全新一栈式实时 HTAP 数据库一键水平扩容或者缩容金融级高可用实时 HTAP云原生的分布式数据库兼容 MySQL 5.7 协议和 MySQL 生态TiDB-ServerTiFlash NodeTiFlash NodeTiFlash NodeTiKV NodeMPP EngineTiKV NodeTiKV NodeTiKV ClusterOLTP ApplicationsOLAP Applications助推全球助推全球 1500+企企业业互互联联网化和数字化网化和数字化10+银银行与行与头头部金融企部金融企业业网联交易、网贷核算互联网业务中台实时风控、反欺诈三大运三大运营营商商支付与

3、风控征信与账单系统精准营销覆盖中国互覆盖中国互联联网网独角独角兽兽企企业业的的 80%万亿量级数据毫秒响应支付、秒杀等场景单个集群1000+节点物流与零售物流与零售实时统计报表数据中台交易与报表业务隔离美国、日本、美国、日本、东东南南亚头亚头部支部支付企付企业业与与电电商商在线支付用户与订单管理风控与营销OLTP 规规模化的模化的头头部用部用户户支撑平安人寿“金管家”单日交易额破1000 亿亿，超，超 1 亿亿用用户户高可靠、低延高可靠、低延迟迟、可快速、可快速扩扩展展大大降低敏大大降低敏态应态应用开用开发发复复杂杂度度，加快应用上线速度在在线弹线弹性性扩缩扩缩容容满足不确定业务需求在线支付联

4、机交易，钱包等高增高增长长交易支撑，交易支撑，3000 万用万用户户水平水平弹弹性性扩扩展展和几乎线性的扩展能力友好的开友好的开发发界面界面，应用几乎无需改动实时实时高并高并发发，高效支撑短时高峰交易及数据访问，1.5 亿亿用用户户弹弹性高性高扩扩展，展，TiDB on K8s 随时随地在线扩展安全高可用，安全高可用，可靠放心的高可用容灾保障能力面向零售高增面向零售高增长长交易交易场场景景在在线线核心核心联联机支付交易平台机支付交易平台面向金融敏面向金融敏态态交易交易场场景景全球全球领领先餐先餐饮饮巨巨头头 日本日本头头部金融支付企部金融支付企业业 平安人寿在平安人寿在线线金融金融联联机服机服

5、务务TiDB HTAP：一：一栈栈式数据服式数据服务务生生态态存储节点存储节点数据中枢场景交易交易处处理和在理和在线线分析同步分析同步规规模化模化报报表表业务业务不影响在不影响在线线交易交易流式计算场景混合负载场景实时实时到到账账、实时统计实时统计缩缩短短业务业务等待周期，提升用等待周期，提升用户户体体验验多源多源汇汇聚，聚，统统一数据服一数据服务务节节省系省系统统和数据聚合代和数据聚合代码码开开发时间发时间写写 SQL 就行了就行了一个TiDB 系统，一个访问入口，一份数据The History of TiDB OptimizerWhats Query Optimizer目目标标：做一个：做

6、一个执执行行计计划划输入 AST输出物理执行计划物理物理执执行行计计划需要考划需要考虑虑什么内容：什么内容：选哪个索引子查询如何执行用什么 Join 算法和 Join 顺序.SortHashJoinTableScant1TableScant2MergeJoinIndexJoinIndexScant1IndexScant2select t1.afrom t1join t2on t1.col1=t2.col1order by t1.col1NominalSort采用 1979 年由 Selinger 在 System R 中使用的经典优化器模型TiDB 优优化器框架化器框架简简介介TiDBTiKV