阿里云大数据计算服务（MaxCompute）专场（25页）.pdf

1、欢迎大家毗邻阿里云大数据计算服务（MaxCompute）专场MaxCompute 2.0MaxCompute 2.0：阿里巴巴的大数据进化之路阿里巴巴通用计算平台负责人/资深专家关涛The evolution of Alibaba Big Data PlatformDirector/SeniorStaffEngineer of Alibaba Computing PlatformTony GUANMaxCompute 2.0概述|今天专场的议题阿里巴巴数据平台进化之路MaxCompute 2.0 Moving forward2 3 1MaxCompute 2.0MaxCompute/ODPS-

2、阿里巴巴和阿里云大数据的旗舰计算平台99%存储+95%计算60K+/10+50套+250%X阿里巴巴内部统一的大数据平台，支持阿里所有业务超大规模跨DC调度容灾能力作为大数据旗舰平台专有云部署到各行各业大数据旗舰平台公共云支撑上层”大脑”和数加BigBench 2.5X高性能，低成本MaxCompute 2.0阿里云大数据计算服务（MaxCompute/ODPS）数据总线(DataHub)基于Pub/Sub的数据同步服务大数据计算平台MaxCompute/ODPS计算平台人工智能PAIDW Suite(D2/Base)开发套件流水线管理开发套件数据管理蚂蚁金服客满聚划算天猫阿里妈妈淘宝B2B应

3、用层菜鸟网络UC高德合一安全部搜索数据服务ASRNLPTTSOCRImage/Video Analysis机器翻译语音识别API GatewayDataV 数据可视化智能大脑 MaxCompute 2.0概述|今天专场的议题阿里巴巴数据平台进化之路MaxCompute 2.0 Now and Moving forward2 3 1MaxCompute 2.0阿里巴巴大数据平台的进化之路MaxCompute 2.0第一代平台开始运行 自主研发的云计算平台飞天的第一个集群稳定运行。MaxCompute作为核心运算引擎。开始统一数据平台数据统一存储数据标准统一数据安全统一管理MaxCompute2.

4、0单集群过万台，12+集群对内，性能/成本再优化全球部署，支撑业务发展对外大数据能力输出关键年飞天MaxCompute大数据平台研发启动愿景：打造运算/分享数据第一平台2009.092012.07具备超大规模海量数据处理能力 单集群规模5000台服务 飞天集群正式开始对外运营，技术领先。2013.08大数据平台开始日趋成熟多级群能力支撑双十一海量交易支撑阿里金融业务创新登月计划完成，云梯1/2合并201420152016-20172010.10IOE年代大数据开始发展，在统一机器和数据中心的基础上，各个BU各自为战Oracle之巅亚洲最大单日计算仍然无法完成GP项目启动2009Greenplu

5、m之巅（天花板）Hadoop之巅亚洲最大，PB，5000台单数据中心扩展上限多租户安全不受控自主可控能力差20132010MaxCompute 2.0登月计划 一个统一的过程我们为什么要登月？在统一的数据中心和硬件基础上（IaaS），集团存在大大小小数十个计算平台；从技术上，阿里集团内部的技术发展路线上曾经是双“强”并立：支撑淘宝、支付宝等业务的以Hadoop为底层的云梯1和支撑阿里云、阿里金融等业务的以自主研发“飞天”及MaxCompute为底层的云梯2。当时Hadoop平台面临的问题：扩展性差，规模有限制，当时无法突破5千台稳定规模；无法满足数据和业务的高速发展；存在包括NameNode，

6、JobTracker，HiveServer等多个单点；性能低，无法满足在5K+规模上的极致性能要求；引擎本身每年性能提升有限开源强调的各层解耦，分层接口带来额外的性能开销；安全性不够高，Hadoop下的HDFS文件授权机制不能满足业务灵活的权限管理稳定性差，不能支持多个集群和跨集群容灾；起步简单，但后续提升困难，代码开源但反馈回社区的周期很长。很多集群变成事实上的“自研”系统；这又进一步导致的版本不统一，各个集群无法互联互通！。MaxCompute 2.0登月计划 一个统一的过程 这是一个“漫长”和“昂贵”的过程阿里巴巴集团层面牵头，“登月计划”共有24多个项目，涉及阿里巴巴和小微金服所有的事