02-基于控制面单元化的 Kubernetes 集群联邦 - 任静思.pdf

1、基于控制面单元化的 Kubernetes 集群联邦任静思 字节跳动资深研发工程师目录背景01关键技术细节03基于控制面单元化的 Kubernetes 集群联邦02Content背景Part 01大规模集群联邦带来的性能与稳定性挑战大规模生产环境集群联邦 在字节跳动，我们采用 Kubernetes 集群联邦作为全局资源的统一入口1.资源体量1.联邦总节点数：21 W+2.在线微服务数：10 W+3.Pod:1000 W+2.业务类型1.在线微服务，延迟敏感 Socket 服务，有状态服务，批处理任务3.发布效率1.日变更数：3 W+，发布过程需要平滑，高效4.容灾要求1.多 VAU 容灾2.集群

2、级别 rebalance 容灾大规模集群联邦带来的性能与稳定性挑战 联邦控制面本身也是一个中心化系统：系统可扩展性受限：单个 Kubernetes 集群作为联邦控制面，承载能力有上限，当业务规模达到阈值，需要考虑通过水平拆分多个控制面集群，提高系统的线性扩展能力。缺乏高可用性：一旦联邦控制面发生故障会导致整个集群池化资源不可用，风险较大。通过拆分多个联邦控制面的方式，一方面可以减小并隔离故障域，另一方面引入控制面之间的相互备份，在灾难场景下做到快速恢复。基于控制面单元化的 Kubernetes 集群联邦Part 02大规模集群联邦带来的性能与稳定性挑战总体设计 控制面单元化：联邦控制面拆分成若

3、干个独立的单元，每个单元独立部署 etcd,apiserver 和 fed controller Workload 通过负载均衡算法被路由到某一个控制面单元中，在该单元中完成子集群调度，传播，状态收集等能力总体设计 控制面单元化：Global Cell Router:负责根据映射算法，把 Workload 映射到某个单元（Cell）中;对外提供单个对象的k8s API,单元化架构对上层 client 透明 Router Control Plane:存储单元化配置和不需要单元化的对象 Rebalance Controller:根据映射算法，对 Workload 在单元间迁移再平衡 Backup

4、Controller:负责Workload 在单元间的备份关键技术细节Part 03大规模集群联邦带来的性能与稳定性挑战映射算法 映射算法解决 Workload 具体被路由到哪个单元的问题，Workload 随着应用发布动态创建，其生命周期受对应单元的 Fed controller 管理 负载均衡：各个单元间的 Workload 的数量应该相对均衡，与每个单元的承载能力成正比 去除单点瓶颈：Workload 与单元间的映射关系不应该依赖于某种单点的存储系统记录，最好能够根据配置和算法进行计算 增添/裁撤单元：随着联邦系统的容量扩展和升级，会出现增添新单元以及裁撤旧单元的需求，此时 Worklo

5、ad 和单元之间的映射关系会发生改变，存在 Workload 在单元间迁移的过程，这一过程最好是对外透明的，只影响正在迁移的 Workload 容灾备份：Workload 常态下存储在主单元中，受主单元的 Fed controller 管理，一旦主单元发生不可用故障，需要能够快速切换到备份单元中，由备份单元的 Fed controller 接管映射算法 哈希算法：ShardID=Hash(name)mod ShardNumber 一致性哈希算法：ShardID=ConsistentHash(name,ShardNumber)增加/裁撤单元设计映射算法，配合 rebalance controll

6、er:移动尽量少的 Workload,使单元间重新达到负载均衡 Workload 的迁移过程需要是有序可控的 Workload 迁移期间，映射算法能够正常工作，把请求转发到对应的单元 不依赖中心化的存储增加/裁撤单元在单元扩缩容完成前，单元集合：单元扩所容完成后，单元集合：增加/裁撤单元对于正在进行迁移的 workload,将其 rebalanceStatus 标记为 migrating在单元扩缩容期间，router 对每个 workload 请求，会调用两次一致性 hash 函数：上述两个 CellID 可能有四种组合增加/裁撤单元Router 映射