MaxCompute Serverless 架构演进.pdf

1、MaxCompute Serverless 架构演进谢德军阿里云MaxCompute SQL引擎负责人Contents目录01大数据与Serverless02MaxCompute Serverless 架构演进03MaxCompute Serverless 关键技术04MaxCompute 高性能 SQL引擎大数据与Serverless01云原生新范式ServerlessA Berkeley View on Serverless ComputingCloud-NativeDEVOPSContinuous DeliveryMicro-ServicesContainersServersVMsCon

2、tainersServerless关心系统配置关心业务逻辑云服务提供资源类型大数据Serverless-产品特性弹性根据作业负载波动Auto-scaling利用云上丰富服务自持资源和弹性资源调度系统针对不同规模作业优化用户只需关心业务逻辑免平台运维支持热升级不需要关心大数据基础环境搭建后付费用户按实际资源使用量付费按量付费计算、存储分别计费支持预付费、分时Quota 等其他收费规格周期作业调度事件驱动支持按数据到达等Event 驱动作业执行实时数据导入与加工信通院-基于无服务器架构的（Serverless）大数据平台分级能力要求MaxCompute Serverless 架构演进02MaxCo

3、mputeMaxCompute:;?ABCDEFSaaSGSoftware as a ServiceHIJK?LMNOServerlessPQRSTUVWXYDZ?LM(N_$?./Zabcd,e+,fgDhiNjkl?|KServerlessPQ!#$%!&()*!+,-./01EF./!2345678!9:;6+78)*!?ABEFW,!C?D!EF!?!(GHI6D!JK!+,LMD!v,!NOP/6QRST!UV6WXYZ!?SQL!_63?%Y1a!b3cd6SQLef!ghP/ij!cd%Y(kvr(!Plmn6opOq!rstABauMaxCompute-架构New Future

4、 on Cloud三方引擎支持(Spark,Flink,etc)云底座(多数据中心/容灾)基础设施MaxCompute 存储引擎IO/CachingFile FormatTable FormatStorage Service分布式文件系统(Pangu)计算资源及调度管理(Fuxi)MaxCompute 执行引擎CUPID控制层接入服务SQL TaskMR/Mars/Graph TaskAlgoTask(ML)Cupid TaskTask Queue优先级管理MRAlgoSQLRestful API身份认证计算集群Traffic ManagementMaxCompute Service全局元数据

5、Web Console审计日志沙箱隔离数据加密数据加载服务(Tunnel Service)外部生态DataworksStudio/CLISDK/JDBCDatahubPAIOSSLog SeviceMC-HologresTableauAzkanba/AirflowFrontendTunnel endpoint队列管理任务管理大数据Serverless-多租模型EMRRedshiftMaxComputeBigQueryECS用户角度系统角度Gartner7种多租户模型无需关心服务器/资源、按量付费、免运维Database Developer Platform DMS更高的资源共享度、更低的成本，

6、更高的技术挑战Tenant ATenant BMaxCompute-Shared Everything的挑战HardwareOperating SystemVirtualization InfrastructureGuest ClusterEMRGuest ClusterEMRShared-hardware Multi-tenancyPhysical InstancePhysical Instance技术 挑战系统安全依赖Iaas隔离保障Tenant ATenant BHardwareOperating SystemShared-everything Multi-tenancyLogical