阿里云E-MapReduce 全面开启 Serverless.pdf

1、 E-MapReduce Serverless EMR ibaba Cloud E-MapReduce Embraces Serverless资源占比超过60%全面降本增效体验全面提升EMR 2.0 平台全面落地抢占式实例支持极速响应EMR 2.0 支持实例规格筛选，单节点组最多选择 10 种不同规格 成本优化策略支持自动选取低价实例规格出价生产实证可降低 80%+成本 典型客户案例支撑单节点组内和多节点组间均支持并行扩容 支持缩容期间并行扩容，支持突发业务变化更高的弹性速度，100 节点扩容时间 2分钟 更快的感应速度，指标检测周期 1000*数据来源于阿里云测试通过健康检查服务的集群日报功

2、能，查看集群是否存在资源浪费通过任务评分倒排 Top N找到资源浪费最多的作业进行优化通过持续优化，最大化利用资源，避免浪费EMR 2.0 图表标题0%25%50%75%100%ECS.2xlargeSeries1Series1倚天 ECS 产品降低企业成本，较 x86 价格低 20%以上性能更高，CPU 占用率更低，TPC-DS 耗时低 25%ECS：G8y vs G7 6 台 8 core 32GSoftware：EMR 版本 5.9.0TPC-DS 1TB 06000120001800024000TPC-DS(seconds)2354718796g8yg7EMR 2.0 测试环境：*数据

3、来源于阿里云测试EMR 2.0 降本增效核心能力 资源配比优化 历史用量曲线跟踪 更直观的度量资源配比调整前后成本绩效固定和弹性资源用量和账单可视化 基于历史用量分析用量高峰低谷 推荐更低成本的预付费（包年包月固定资源）/后付费（按量弹性资源）配比History-Based OptimizationEMR 全面Serverless化势在必行负载动态变化对资源规划者能力要求极高9 成集群资源综合使用率不足 70%超过 3 成集群资源综合使用率不足 50%开发层（数据开发与治理）计算层（弹性计算引擎）湖管理与优化层（数据管理与优化）存储层（数据湖统一存储）数据湖存储数据湖构建与管理一站式数据开发平

4、台元数据服务权限管理数据入湖数据探索索引/统计版本过期/恢复文件合并/聚簇生命周期管理0101开放数据湖格式云原生文件系统全托管HDFS数据湖缓存加速DataWorksDLF数据湖构建对象存储标准型低频型归档型深度归档E-MapReduceE-MapReduceMaxComputeHologresPAI EMR 数据湖计算数据开发与治理开发层（数据开发与治理）计算层（弹性计算引擎）湖管理与优化层（数据管理与优化）存储层（数据湖统一存储）数据湖存储数据湖构建与管理一站式数据开发平台元数据服务权限管理数据入湖数据探索索引/统计版本过期/恢复文件合并/聚簇生命周期管理0101开放数据湖格式云原生文件

5、系统全托管HDFS数据湖缓存加速DataWorksDLF数据湖构建对象存储标准型低频型归档型深度归档E-MapReduceE-MapReduceMaxComputeHologresPAI EMR 数据湖计算数据开发与治理EMR Serverless Notebook全托管Notebook服务 即开即用，免部署，免运维 全面兼容开源 Jupyter 企业级安全简单易用 多语言代码管理开发平台 一站式大数据分析平台 提供团队协同开发能力无缝对接各形态EMR资源 一键绑定 EMR 资源，绑定即用 支持主流计算存储引擎，包括但不限于 Hive，Spark，StarRocks，Trino 等业务应用管理

6、配置产品能力NotebookMarkdown CellSQL CellPython Cell工作空间ipynb FileSQL FileSQL 分析查询历史结果下载即时查询数据分析开发调试EMR on ECSEMR on ACKEMR ServerlessEMR!资源形态数据库管理EMR集群管理邀测中开发层（数据开发与治理）计算层（弹性计算引擎）湖管理与优化层（数据管理与优化）存储层（数据湖统一存储）数据湖存储数据湖构建与管理一站式数据开发平台元数据服务权限管理数据入湖数据探索索引/统计版本过期/恢复文件合并/聚簇生命周期管理0101开放数据湖格式云原生文件系统全托管HDFS数据湖缓存加速Da