赵禹-知乎K8S稳定性建设实践.pdf

1、知乎K8S稳定性建设实践知乎-核心架构平台工程师-赵禹个人介绍个人介绍 知乎核心架构平台工程师，知乎k8s负责人。曾任职于好未来基础架构和融资自主创业。目前知乎负责k8s，及云原生建设相关工作。多年Devops和云原生领域工作经历。目录目录1.发展历程与现状发展历程与现状2.K8S稳定性建设的背景和遇到的问题稳定性建设的背景和遇到的问题介绍知乎云原生的发展历程和云原生架构现状介绍知乎K8S稳定性建设的背景和遇到哪些需要解决的问题3.K8S稳定性建设阶段和案例稳定性建设阶段和案例介绍知乎 K8S稳定性建设都经历了哪些阶段，做了哪些事？列举了部分4.展望和收益展望和收益Part1 发展历程与现状发

2、展历程与现状知乎云原生架构的演进历程业务容器化Mesos注册中心HAProxy业务容器化注册中心HAProxyKubernetes中间件容器化业务容器化Kubernetes注册中心HAProxy中间件容器化数据库容器化ServiceMesh业务容器化Kubernetes中间件容器化数据库容器化ServiceMesh混合云离在线混部201620182020现在现在知乎云原生的发展历程知乎云原生整体架构知乎云原生整体架构应用层组件层OS层基础组件层知乎知乎Kubernetes 集群现状集群现状总集群数：10+，主要分为基础组件集群、业务集群及训练、推理服务专用集群。10+40w+40%业务集群负载

3、：CPU 全天利用率均值在 40%左右。白天基本都在60%+资源概况：CPU 核心 40w+Part2 K8S稳定性建设的背景和遇到的问题稳定性建设的背景和遇到的问题k8s相关故障（一）Apiserver雪崩（二）Apiserver雪崩（三）镜像仓库挂掉第一次雪崩，是由于节点过大，当时节点在4500+，机器kube-proxy watch请求过多。挂掉一个节点后流量不均衡，不断打满apiserver内存，导致apiserver雪崩现象。第二次雪崩，由于某位同学所在机器有集群密钥。这位同学通过helm安装CNI，误导致集群雪崩。镜像仓库挂掉，恢复时长较长。影响部分生产业务。由故障暴露出知乎由故障

4、暴露出知乎Kubernetes的问题的问题集群没有兜底、容灾能力资源碎片过多紧急增加机器时、装机太慢k8s出现问题排查困难权限管理混乱调度不均衡、资源干扰过大无审计操作无法追溯告警过多、形成轰炸机器故障处理人肉解决。一切出发点，为了业务稳定高效.Part3 K8S稳定性建设阶段和案例稳定性建设阶段和案例改造历程改造历程第一阶段 Kubernetes集群改造第二阶段 系统能力改造第三阶段 资源兜底能力改造第四阶段 基础组件改造(一一)Kubernetes集群改造集群改造 -第一阶段第一阶段 ApiServer（保证现有稳定性保证现有稳定性）单集群节点量4500+节点ApiServer 不稳定因素

5、：版本问题：版本低无法endpoint Slice、kube-proxy拉取流量过大；配置问题：限流配置问题；硬 件 层：LB 设备带宽限制；LB 负 载：流量不均衡；(一一)Kubernetes集群改造集群改造 -第一阶段第一阶段 DNS（保证现有稳定性保证现有稳定性）原DNS访问链路，全部要从CoreDNS过，没有兜底。ApiServer挂掉时会影响CoreDNS稳定性，然后影响生产使用改造内容 改造CoreDNS代码，ApiServer挂掉时，CoredDNS能够缓存2小时数据 使用local DNS组件，走本地DNS，本地其实是走权威DNS（一一）Kubernetes集群改造集群改造

6、-第二阶段第二阶段(新集群架构新集群架构)组件LB相关组件：kubeletkube-contorller-managerCCMkube-proxykube-schedulerkube-flannel&CNIcorednscluster-autoscaler拆分注意事项：保证节点在3000以下签发证书用泛域名选项选择v1.2x以上版本，支持APF（一一）Kubernetes集群改造集群改造 -第二阶段第二阶段(去除去除kube-proxy)去除应用cluster ip访问ServiceLoadbalancer 使用直