杨少华-云上百万大数据任务的成本优化实践.pdf

1、杨少华目录需求侧优化供给侧优化商务手段：折扣技术手段：弹性资源池 存算分离 多类型实例综合使用 包年/包月实例 按量/Spot实例 多云实例运营手段 梳理下线无效、低效任务技术手段 业务逻辑优化 资源优化：RightSizing&HBO实施成本稳定性优化效果大数据任务异常大数据服务或主机异常 低侵入性，业务无感 全自动优化 实施周期短 降低任务总时长、基线完成时间 降低资源使用量（内存/CPU）收益要够大（如 30%）任务参数动态调优稳定性保障RightSizing&HBO问题 高峰时段任务繁忙，YARN资源分满状态 高峰时段YARN资源排队严重 主机CPU/内存利用率不高解决方法：Right

2、Sizing 任务的实际资源使用与申请量匹配，减少浪费 难点：任务数量多，调优门槛高，工作量巨大解决方法：HBO（History Based Optimization）通过对任务的历史运行数据进行分析，为每个任务计算更优的运行参数，并在任务提交时自动运用，从而实现任务的资源RightSizing典型案例主机CPU/内存利用率YARN Vcore/内存分配YARN Pending容器数量数据采集 HistoryServer数据 数据质量，基于javaagent和listener运行时采集，资源控制，避免过多影响优化策略 使用动态历史时间窗口 自适应优化算法 预估模型：不同并行度预估运行时长变化

3、各种边界处理，参数之间的联动依赖自动优化 基于javaagent技术的Hook注入机制调度侧优化（合理申请资源）引擎侧优化（高效使用资源）资源不足/空闲-调大/调小并行度、预启动、数据本地性等.优化手段：任务动态参数调优技术挑战：覆盖和适配各种场景 通过字节码注入的方式 抽象优化参数注入方式Hive on MR/Tez/SparkNative MR JobSpark ApplicationFlinkStarRocks/Doris开源主流版本CDH&TDH等定制版本云厂商EMR版本技术挑战：任务归一化 可编程方式，方便定制 典型归一化信息：job/application name,命令行信息，S

4、QL.新任务发现和优化效果指标：任务运行总时长、CPU/内存使用量方案与效果 参数自动调优：为每个任务自动设定最佳运行资源参数，无需改动任务代码 任务总时长减少 28%，产出时间提前2小时 任务排队峰值降低 50%，业务反馈任务卡顿显著好转第一轮优化：可以看到在开启优化的前后时间段，PendingMB曲线面积有明显下降第二轮优化：不断完善优化策略，PendingMB曲线面积较优化前降低更为明显，曲线峰值约12M降至1M，整体可减少40%左右的离线计算资源灰度机制异常重试失败隔离故障隔离弹性资源池与混部弹性资源池 ElasticPool已有的云资源通过不同优先级任务混部实现典范是Google B

5、org，通过混部，计算型资源的平均利用率拉升到50%+，节省超过30%机器对基础设施要求很高：不同优先级任务通常至少要部署在同城机房、带宽100G、存算分离、操作系统要具备不同优先级任务QoS能力Spot/竞价/抢占式实例价格最低可到：按量机型1/10，包月机型1/6国外像Cast.ai、Kubecost、BreezeML、Skypilot这些公司基本都是这个方向国外云在Spot Instance上的成熟度和供应上比国内好很多多云资源组合对于计算数据量小，或依赖的数据在多家云上都有，可临时根据各家云目前的spot instance等情况，来构建一个最佳的资源池，可以是单云构成的，甚至是跨多云构

6、成的规格名称规格系统盘按量包月抢占式阿里云ecs.c6.xlarge4核8G40G0.744元/时535.68元/月356.6元/月0.26元/小时 187.2元/月华为云c6s.xlarge.24核8G40G0.6988元/时503.136元/月346.6元/月0.29元/小时 208.8元/月腾讯云S5.LARGE84核8G50G0.65元/时468元/月356.2元/月0.17元/小时 122.4元/月问题 业务和大数据离线作业的错峰，集群利用率不高 大量的容器OOM 300+w次/周 1%的夯机率 每周hung task 28.8%难点 资源利用