林伟：MaxCompute的NewSQL演进之路（18页）.pdf

1、MaxCompute的NewSQL演进之路阿里巴巴计算平台架构师林伟weilin.lwalibaba-MaxCompute 2.0背景关键技术2 3 41NewSQL总结MaxCompute 2.0SQLSQLNoSQLNoSQL关系型数据库强语义强结构横向扩展性差不灵活容错能力弱大数据能力差非关系型数据库弱语义非结构，半结构和结构横向扩展性强强大UDF容错能力强大数据能力强Traditional DBMapReduceTezSparkNewSQLMaxCompute 2.0NewSQL回归关系型：程序员仅仅关注要做什么强大系统优化能力：通过强大优化器，整合多个功能，从而能够使得系统自适应生产

2、高效物理执行计划NonSQL的支持：非结构，强大的UDF集合，分布式支持HowWhatMaxCompute 2.0Why NewSQL程序员不可能及时感受数据的变化，环境变化计算越来越复杂，程序员不可能很快的分析出全局最优的执行计划计算需要能够分享知识，缺乏高层次强语义的语言阻碍这种分享共享的资源环境，单个程序员缺乏系统全局观MaxCompute 2.0NewSQLDryadScope(微软）SparkSparkSQL(DataBricks)MapReduceHiveHive2.0MapReduceSpanner（Google）MaxCompute1.0MaxCompute2.0NewSQL

3、关系型查询语言灵活性任意物理执行计划非结构，半结构，结构高性能，高智能，自适应MaxCompute 2.0关键技术MaxCompute 2.0非结构，半结构和结构化数据用户提供Serialize/Deserialize函数动态进行非结构到结构化转换支持用户自定义类型用户自定义分区从而能够有效连接上下流MaxCompute 2.0强大的DAG执行图表示突破MapReduce的束缚进行循环迭代展开为DAG非对称图表达，从而能够支持复杂的物理执行计划MaxCompute 2.0完整的用户自定义函数体系完整UDF集合：必要的能使得我们关系型退化为函数型语言，能够构造任意的DAG执行计划Serializ

4、e/Deserialize多路Join函数聚合处理函数Processor完备分区函数：Hash/Range/Direct HashMaxCompute 2.0强大的优化器存储过程的支持(单一语句成千上万存储过程）能够写出更加复杂大的查询存储过程，从而使得逻辑执行计划非常庞大，优化空间更大，需要更先进的优化器Rule-Based OptCost-Based OptvolcanoCost-Based OptcascadingMaxCompute 2.0强大的优化器分布式Non-SQL的场景下的众多UDF扩展更智能更加理解数据更加理解运算更加理解用户MaxCompute 2.0优化器与用户自定义函数

5、（UDF）包含UDF优化碎片化（性能低）不感知UDF输出特性，从而产生低效物理执行计划 全局优化有效和用户交互理解UDF的特性MaxCompute 2.0一个实际例子(min,19)19,29)29,39)999,max)J0J1Jn(min,99)99,199)999,max)foofoofoo(20,29)(20,29)29,39)29,39)order by b函数foo为单调函数（user annotation）MaxCompute 2.0UDF的特性Row-wise？单调函数？某些column不变（pass through）？保持分片？保持排序？Selectivity，data distribution of output等等MaxCompute 2.0运行时优化大量的NonSQL的用户自定义函数分布式场景中各种动态环境分配worker的拓扑结构Failure Region的分布需要运行时优化选择分区数目，边界选择Join方式高效的Datashuffle方式MaxCompute 2.0总结MaxCompute 2.0NoSQLHowNewSQLOldSQLWhat强大的系统优化高易用高可解释高性能大规模高自适应MaxCompute 2.0