Data+AI时代大数据平台应该如何建设.pdf

1、Data+AIMaxCompute&Hologres ODPS(Open Data Processing Service)Teradata1984Googles Distributed System Papers2003-2006Asia Biggest Oracle Rack2002-2006Netezza Performance Server1999Vertica Columnar Storage2005AWS Redshift Cloud DW2013ODPS-Hologres RealTime DW2020Ververica acquired by ibaba 2019MaxCompu

2、te 3.0 2020MaxCompute 2.0 2017GCP BigQuery 2012MaxCompute&Hologres Unified Architecture2021MaxCompute Lake House2020AWS Data Lake Formation2018Flink2014YARN2012Hadoop as Apache TLP2008Hadoop2004Lucene1997Cloud Ladder Project2009ODPS 1.02010Snowflake 2015Google DremelODPS Data Platform 20152010Migrat

3、e Hadoop to ODPS in ibaba,MaxCompute&DataWorks ibaba Data Platform best practiceODPS Public Available2013Single Cluster Beyond 5K NodesODPS Global Available 2017Intelligence,Openness,TCO effectiveService 10+global regionsHadoop cluster in production2008Enterprise ReadyScalable to 10KLakeHouse Archit

4、ectureAI阿里云大数据+AI产品解决方案数据上云流式计算 云原生大数据平台ODPS 开源大数据服务人工智能平台PAI AI计算 大数据开发与治理-DataWorksDW-数据建模DW-数据开发DW-数据治理DW-数据质量DW-数据安全人工智能平台PAI：Platform for AI-AI开发交互式建模PAI-DSW可视化建模PAI-Designer数据标注PAI-ItagMLOpsPAI-QuickStart智能搜推服务开放搜索OpenSearch智能推荐PAI-Rec海量数据加工（SQL、Python）MaxCompute交互式数据分析HologresFlink智算服务PAI灵骏EM

5、R（Spark、StarRocks）ElasticsearchDLF生态模型服务PAI-EASAI加速引擎PAI-ACC分布式训练PAI-DLC结构化数据集成Hadoop数据迁移特征工程PAI-FeatureStore人工智能平台PAI-模型服务模型API服务灵机模型模型最佳实践PAI智码实验室超高性价比可扩展架构大数据AI一体企业级安全ServerlessIaaS、计算存储分离按需弹性资源内置高可靠分布式存储（飞天盘古）、开放存储OSS/HDFSStorage API云原生大数据调度服务PaaS计算引擎高性能SQL引擎兼容开源MR/Spark引擎MaxFrame(Python开发环境）ACI

6、D与增量计算元数据服务全生命周期安全管理Big Meta智能数仓DataWorks(开发&调度)DaaS接入服务SDKConsolePAI StudioAPI数据加工经营报表探索式分析数据科学Data+AI高弹性安全免运维低成本ODPS-MaxCompute大数据计算服务亚秒级查询延迟负载隔离向量检索事件驱动实时加工高吞吐实时写入IaaSPaaSDaaS存储计算分离架构内置存储（盘古）计算引擎MPP高性能SQL引擎行存&列存&Binlog内置Proxima向量检索引擎面向写入优化的LSM存储结构Meta Service计算组SQL审计DataWorks(开发&调度)接入服务JDBCSDKHol