MaxCompute架构升级及开放性解读.pdf

1、MaxCompute张治国阿里云智能计算平台研究员架构升级及开放性解读MaxCompute阿里云自研大数据平台，围绕企业数据核心要素，提供大规模，分布式数据分析，处理能力，满足多业务场景大数据计算需求5K集群调度规模SQL引擎性能存算分离Serverless弹性跨集群调度湖仓一体架构离线实时一体MaxCompute 1.0（2013 2017）MaxCompute 2.0（2017 2020）MaxCompute 3.0（2020 2023)MaxCompute的三个阶段规模，性能弹性，性价比一体化&()*+!#$%&()Volume!*+,-./01,/201,/301,#$*#$45*67

2、89Data for AIVariety!:;?ABC%DE=#FVelocity!GH#$#$()I%JKVeracity!LMNOPAI for DataValueMaxCompute 方向思考 湖仓一体，多计算引擎，多数据源，结构化/非结构化不同数据格式，AI应用流批一体，离在线一体，大并发批量写入+实时流式Upsert更新，增量查询数据AI增强分析，数据处理平台对AI模型训练推理的支持SQL引擎，存储，调度各模块优化，弹性按需计算，不同高性价比计算规格性价比Data+AI一体化开放近实时VolumeVarietyVelocityValueMaxCompute 4.0 高并发批量+实时流

3、式数据导入MaxCompute 计算引擎PAIAI 计算 开源计算引擎SQLHoloMarsGraphSparkPrestoStarrocks统一元数据服务增量版本控制StorageAPITable IO开放存储数据开发管理平台数据应用BigMetaFuxi/K8S 弹性计算资源统一调度MaxCompute 盘古存储HDFSaliORCParquet/ORC/Open formatOSS近实时增量数据处理能力数据高并发Upsert流式导入，增量查询，time travel统一元数据服务ACID 版本控制，文件级别元数据，实时元仓服务，高频commit能力开放存储支持外部OSS/HDFS等不同存

4、储系统，以及Parquet/Orc开放存储格式，HUDI/Iceberg/Delta开放表格式资源弹性统一调度Quota分时弹性，集群弹性资源，多引擎统一调度多引擎开放架构支持内部不同计算引擎以及AI和开源引擎，同时支持外部AI，EMR平台计算引擎数据访问MaxCompute 4.0 开放性MaxCompute 存储OSSHDFSaliORCParquet/ORC/Open formatMaxCompute 计算引擎AI 计算 开源大数据计算引擎高并发批量+实时流式数据导入开发管理接口层 BigMeta 统一元数据服务StorageAPITable IO开放存储数据应用接口层 数据接入生态支持

5、多种数据接入方式，可以接入绝大多数的数据库，NOSQL库，消息队列，日志等业务系统开放计算架构MaxCompute计算引擎使用StorageAPI以内外表一致方式高效读写OSS/HDFS上Hudi/Iceberg/Delta，Parquet/Orc/CSV等开放存储格式数据开放存储除自身支持SQL，Spark，Mars，Graph等，还支持PAI人工智能平台，开源Presto，Starrocks等引擎通过StorageAPI高效读写MaxCompute内置存储数据应用生态可以接入QuickBI，以及其它主流的开源和商业化BI工具，如Superset和Tableau等开发管理工具生态除DataW

6、orks以外，支持开源的，Airflow以及Azkaban平台，对数据进行开发治理调度等MaxCompute 4.0 开放性 开放存储Storage systemIO&cachingData formatTable formatImmemory layoutCompute enginePanguOSSHDFSPangu clientOSS clientHDFS clientIO cacheCommon IO APIAliorcReaderwriterParquetReaderwriterOrcReaderwriterTSVReaderwriterMC tablehudiCommon table