MaxCompute SQL 2.0：运算引擎及其实现原理（19页）.pdf

1、少杰阿里云数据事业部 专家MaxCompute SQL 2.0全新的计算引擎MaxCompute2.0背景-MaxCompute SQL-分布式数据仓库-批处理-列存储-重大更新：2.0-全新的解析器-全新的基于代价的优化器-全新的运行时库-MaxCompute2.0TPC-H benchmark*-VS Hive 2.0:+90%-VS MaxCompute 1.0:+68%*1tb dataset on a 30-node-clusterMaxCompute2.0重大更新全新的解析器基于SQL的关系代数优化 基于代码生成的执行引擎 基于ANTLR4重写的语法分析器 Playback实现更可

2、靠的变更管理 兼容Hive语法和语义*基于代价的优化器 全新的基于代价的优化器（Cost based optimizer）统计数据指导下的更精确的优化 基于LLVM的高效代码生成 向量化执行 缓存友好的算法MaxCompute2.0基于代价的优化器-大多数现代DB实现了基于代价的优化器-优势-迭代的优化：搜索所有可能的优化路径-动态规划：速度更快-基于代价：更优的执行计划Rule basedCost basedHive(=7),SQL Server,MySQL,Postgresql,MaxCompute(=2.0)MaxCompute2.0基于代价的优化器-实现方式-模式匹配-等价关系-动态规

3、划的代价计算-最有计划搜索SELECT*FROM src a JOINsrc1 bProjectJoinTableScanTableScanMapJoinRuleProjectHashJoinTableScanTableScanBroadcastMergeJoinRuleProjectMergeJoinSortExchangeSortExchangeTableScanTableScanMaxCompute2.0全新的优化规则基础优化规则基础优化规则裁剪裁剪列裁剪/分区裁剪/子查询裁剪下推合并下推合并谓词下推去重去重Project去重Exchange去重Sort去重折叠折叠常量折叠谓词推导探测优

4、化规则探测优化规则JoinBroadcastHashJoinShuffleHashJoinMergeJoinSkewJoinAggregateHashAggregateSortedAggregateDe-duplicate下推下推GroupBy下推Exchange下推Sort下推MaxCompute2.0Join重排-避免空间膨胀：分组和限制-分布式环境特点：稠密树优先JoinInput_aJoinInput_bInput_cMultiJoinInput_aInput_bInput_cPhyJoinPhyJoinInput_bInput_cInput_aPhyJoinPhyJoinInput_

5、aInput_bInput_cMaxCompute2.0Join合并-Join重排和合并作为统一的优化过程(TPC-H Q18)from customer cjoin orders o on c.c_custkey=o.o_custkeyjoin lineitem l on o.o_orderkey=l.l_orderkeyjoin()tab1on o.o_orderkey=tab1.l_orderkeyJoinJoinlcotab1MaxCompute2.0自动的MapJoin-MapJoin自动转换-默认打开-保守的策略-Broadcast on-the-flyMaxCompute2.0-

6、用途-代价计算：Cost=fcost_model(Expression,Statistics)-应用规则-类别-表：RowCount,FileSize,AvgRowSize,-列：Distinct(NDV),MaxValue/MinValue,AvgColumnSize,-复杂：TopKValues,Histogram,-收集方式-Analyze-自动收集统计数据MaxCompute2.0-基于LLVM的高效代码生成-向量化执行基于LLVM的高效代码生成MaxCompute2.0向量化执行(SIMD)-缓存友好的算