王骞：如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进（18页）.pdf

1、如何支撑HTAP场景HybridDB for MySQL系统架构和技术演进阿里云高级专家 王骞技术现状产品定位技术演进路线当前限制未来发展2 3 4 511、技术现状 Hybrid Transactional Analytical Processing 一份数据，支持在线事务与在线分析 分布式share nothing架构，线性扩展 3-15倍压缩比 MySQL兼容与增强 JDBC、ODBC、PHP、Go、Ruby、Python、Navicat、Tableau SQL标准、TPC-H、TPC-DSHybridDB for MySQL技术现状 RDS级云服务 高可靠、高可用、白名单、性能数据 在

2、线扩容、备份恢复 DTS、DMS、CDP、QuickBI 规模 服务10多个国内外region 总数据PB级，日新增数据百TB级2、产品定位OLAP扩展能力OLTP扩展能力HybridDB for MySQLRDSDRDS+RDS MySQLPOLARDBHybridDB for MySQL的目标定位商业数据库:Oracle/SQLServer/3、技术演进使用自研的计算引擎提供复杂查询能力，大幅改善SQL兼容性大幅优化存储体系，提升写入吞吐，降低成本形成独立的server，提供MySQL访问协议和部分SQL支持从单机MySQL数据库和分库分表中间件做起单机数据库+中间件分库分表数据库低成本大

3、数据计算存储分离行列混合存储软硬结合201320142015201620172018融合POLARDB作为存储引擎，增强HTAP能力支持行列混合存储，增强OLAP业务HybridDB for MySQL技术演进 单机的问题 数据集中 性能瓶颈 资源争抢 简化模型 正确性：事务 性能：并行化 开局探索 中间件的思路 中间件的局限Databasepart of dataSharding Middle WareDatabaseSessionExecute ThreadSessionExecute Threadcpu/memory/iopsdatalock/log/transactionDatabas

4、epart of dataSession ThreadMiddle Ware Execute ThreadMiddle Ware Execute Thread发展起点数据库中间件+数据库服务 动机 线性提升性能 解决兼容性问题 难点 事务状态机 流式执行器 请求级连接池 成果 动态扩容 连接数、QPS/TPS 容量线性提升 典型业务 高并发在线业务Databasepart of dataDatabaseSharding Database Serverpart of dataShardingSession ThreadSession ThreadShardingSession Thread合久必

5、分数据库服务分库分表 动机 降低成本 增大存储存储规模 难点 性能与成本的平衡 SQL优化器 大实例运维 成果 PB级容量 TB级副本数小时内迁移 典型业务 物联网中心数据库/历史数据业务Storage Enginepart of dataStorage EngineDatabase Serverpart of dataParallelExecutorSession ThreadOptimized Storage SystemParallelExecutor存储优化低成本高吞吐 动机 提供复杂查询能力 难点 SQL兼容性 全局数据一致性 资源隔离 成果 TPC-H/TPC-DS 提升复杂查询并

6、行计算性能 典型业务 实时写入实时查询实时分析业务Storage EngineDatabase Serverpart of dataStorage EngineParallelExecutorParallelExecutorSession ThreadOptimized Storage SystemCompute EngineCompute Enginepart of data计算优化存储计算分离 动机 增强静态数据的复杂查询能力 难点 行列存引擎 数据格式自动转换 查询优化器 成果 订制存储结构 自适应优化 典型