【唐鹏程】 字节跳动大规模在离线混部实践.pdf

《【唐鹏程】 字节跳动大规模在离线混部实践.pdf》由会员分享，可在线阅读，更多相关《【唐鹏程】 字节跳动大规模在离线混部实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、字字节节跳跳动动大大规规模模在在离离线线混混部部实实践践唐唐鹏鹏程程火山引擎云原生架构师曾就职于容器创业公司才云科技，现就职于火山引擎云原生 PAAS 团队，有多年的 TOB 云原生落地经验主要关注多云、调度、在离线混部等基于 KUBERNETES 的能力构建唐唐鹏鹏程程在在离离线线混混部部背背景景字字节节混混部部技技术术发发展展历历程程K Ka at ta al ly ys st t:字字节节开开源源混混部部系系统统未未来来规规划划0 01 1在在离离线线混混部部背背景景字字节节跳跳动动业业务务体体系系微微服服务务推推广广搜搜服服务务机机器器学学习习与与大大数数据据存存储储服服务务主要是支撑

2、应用的业务逻辑，产品特性驱动，业务迭代效率高，单一服务链路简单，整体链路复杂，重 cpu 和 rpc 延迟为 Feed、搜索提供内容列表的后端服务，实时在线推理服务,追求极致性能。服务数量少，链路简单,服务间数据交互量大，单一服务资源消耗量大，算力要求高为推广搜离线训练、数据报表提供支撑的数据处理服务，分布式训练，流式、批式计算场景，超高数据吞吐量，对算力要求高，重内存和吞吐为应用提供数据存储服务，包括通用存储、数据库、NoSQL 等,通常为有状态应用，故障影响大同，对资源稳定性要求高字字节节跳跳动动云云原原生生历历程程现有2 20 00 0+生产集群，基础设施深度云原生化T TC CE E

3、启启动动建建设设生产集群，基础设施深度云原生化2 20 01 16 6微微服服务务架架构构完成核心业务微服务迁移，并在 TCE 之上构建服务框架、Mesh、监控告警等基础设施2 20 01 17 7“推推广广搜搜”云云原原生生把“推广搜”的物理机服务与在线服务进行全面融合，实现统一容器化调度2 20 01 19 9在在离离线线调调度度融融合合、存存储储云云原原生生融合资源管理形态，简化供应链选型；优化运维效率，开启数据库、缓存等存储系统的云原生化改造2 20 02 20 0云云原原生生联联邦邦演演进进资源多云到应用多云，实现全场景应用编排和资源管理的标准化和统一化2 20 02 21 1节点数

4、5 50 00 0,0 00 00 0+最大集群节点数上万实现大规模集群落地拥有1 10 00 0,0 00 00 0+在线微服务，敏捷化构建能力持续增强平均每日变更数高达2 20 0,0 00 00 0云原生为前线业务提供稳定性保障离线任务数1 14 40 0 MM+通过云原生混部大规模节省企业资源成本次次在在离离线线业业务务混混部部 资源利用率呈现波峰波谷，夜间的资源利用率非常低 业务倾向于申请比实际需求更多的资源以确保服务的稳定性，造成资源浪费在线实际使用在线安全阈值资资源源浪浪费费0 02 2字字节节混混部部技技术术发发展展历历程程分分时时弹弹性性混混部部 在线业务在谷时通过 HPA

5、缩容，对 pod 尽可能做 packing，将整机出让给离线业务 优优势势：一个节点不同时运行在线和离线的业务不需要考虑在离线业务间的隔离问题 存存在在的的问问题题：扩缩容，驱逐，bin-packing 等操作对业务影响比较大 整机出让，存在很多资源碎片 阈值难以配置，大部分情况偏大，资源出让效果不明显基基于于 k k8 8s s/y ya ar rn n 的的常常态态混混部部 节点上同时运行 kubelet 及 yarn NM，同时存在在线和离线业务 优优势势：两套系统实现难度中等，便于快速上量 存存在在的的问问题题：两套系统，维护成本高 节点上 agent 多，大规模下额外的资源损耗大 在

6、离线是两套系统，无法做更统一和精细的调度策略 sysprobe 通过异步、旁路的方式刷新容器 cgroup，存在很多 race 的情况基基于于 k ka at ta al ly ys st t 的的常常态态混混部部 离线业务云原生化接入 k8s，去掉节点上的 yarn NM，在离线业务完全由 k8s 承载 优优势势：通过统一的调度器来做资源调度，由 katalyst 来完成在离线 QoS 策略的执行 特特点点：QoS 抽象标准化 同步管控，核心模块支持插件化扩展 智能化资源管控策略 支持多维度的运维配置策略0 03 3K Ka at ta al ly ys st t:字字节节开开源源混混部部系