从 TP 到 AP, OceanBase OLAP 核心技术详解.pdf

1、张张 鑫鑫 北京奥星贝斯科技有限公司北京奥星贝斯科技有限公司 OceanBase 开源架构师从从TPTP到到APAPOceanBaseOceanBase OLAPOLAP 核心技术解析核心技术解析DataFunSummitDataFunSummit#20232023技术交流：钉钉 332540540101 OceanBase 简介0202 SQL 并行执行0404 行列混合存储引擎0505 资源隔离0303 高级查询优化器0606 快速导入ContentsContents目录目录技术交流：钉钉 33254054OceanBaseOceanBase 简介简介OceanBaseOceanBase

2、发展历程发展历程 自主研发，完整知识产权、核心能力100%掌控 企业级能力，多年支撑蚂蚁核心业务100%负载，数百家单位客户 1.01.0 时代：时代：坚定走向分布式架构坚定走向分布式架构2.02.0 时代：时代：原生分布式数据库原生分布式数据库3.03.0 时代：时代：混合引擎、混合部署混合引擎、混合部署4.04.0 时代：时代：分布式一体化架构分布式一体化架构多个业务系统产品立项产品立项第一个用户2010扩大使用范围扩大使用范围2013核心交易上线核心交易上线支付宝交易金融级核心业务2014全业务覆盖全业务覆盖核心账务核心交易支付2016多家金融客户多家金融客户互联网核心系统2017打破世

3、界纪录打破世界纪录Oracle 兼容公有云服务TPC-C 6088万2019独立商业化独立商业化HTAP 引擎TPC-C 7.07亿走向通用行业、更多头部客户核心系统2020规模化推广规模化推广TPC-H 1526万社区版发布试点海外客户2021公有云走向海外公有云走向海外单机分布式一体化架构公有云上线公有云北美站点开服20222022SQLSQL 引擎，多副本高可用引擎，多副本高可用兼容性，透明扩展，兼容性，透明扩展，多活容灾多活容灾分布式分布式 KV KV 存储存储批量处理，企业级特性批量处理，企业级特性，HTAPHTAPOracle 兼容MySQL 兼容企业级 SQL 引擎SQL 优化S

4、QL 执行存储过程可扩展的分布式架构分布式存储分布式事务分布式调度基于 Paxos 的容灾架构同城三机房两地三中心三地五中心OceanBaseOceanBase 产品产品功能特性功能特性 高性能：TPC-C 7.07亿tpmC 打破世界纪录 高可用：RPO=0，RTO1000台集群节点数6PB单库存储容量3200亿行单表行数RPO=0，RTO 270s 一阶段分布式查询优化 自适应执行引擎 三阶段并行下压技术交流：钉钉 33254054SQL SQL 并行执行并行执行0 02 自适应自适应 TP+APTP+AP 混合负载的执行引擎混合负载的执行引擎SQL执行串行执行本地执行本地数据远程数据分布

5、式执行并行执行并行查询本地并行分布式并行并行DML 多种执行模式 向量化执行 大规模并行处理并行执行调度并行执行调度DFO0DFO1DFOR1R2HJPartition Wise JoinHJHJHJPartial Partition Wise JoinHash-Hash Distribution JoinBroadcast Distribution Join分布式连接算法EX(PKEY)R1R2R1R2EX(HASH)EX(HASH)EX(Broadcast)R1R2CREATE TABLE R1(a int,b int,c int)PARTITION BY HASH(b)PARTITION

6、S 4;CREATE TABLE R2(a int,b int,c int)PARTITION BY HASH(b)PARTITIONS 4;R1.b=R2.bR1.b=R2.aR1.a=R2.aR1.a=R2.a丰富的分布式执行策略丰富的分布式执行策略自适应执行create table R1(a int primary key,b int,c int)partition by hash(a)partitions 4;select b,sum(c)from R1 group by group by b;=|ID|OPERATOR|NAME|EST.ROWS|COST|-|0|PX COORDI