小红书降本增效之路-孙晓飞.pdf

1、小红书的降本增效之路小红书基础架构/孙晓飞小红书与云原生小红书成立于2013年，成立之初就坚定云原生方向。依托于云厂商提供的云服务，公司可以把主要精力投入到业务研发中，快速迭代升级。小红书伴随着云原生快速成长，经过9年多的发展，容器化率已经达到80%+成本之痛云厂商提供了便捷的云交付方式，可以几分钟内构建一个k8s集群，交付一批机器。集群碎片化版本碎片化资源碎片化容器架构容器云平台容器云平台提高效率，降低用户接入成本屏蔽多云多版本差异规范用户行为降低资源治理成本多集群调度资源分配服务迁移集群容灾资源水位资源解释分片管理搜索、数据库等有状态服务按分片组扩缩容灰度发布分片打散业务相关的安全运维工作

2、Webhook扩展超售系数会根据节点负载情况动态调整机型置换1:2=1:4 大机型退机4W+核节点利用率提升5-15%资源弹性服务弹性服务画像根据历史数据提供当前时段推荐值资源使用量减少了20%业务cpu 利用率从40%提升到了60%统一kube-scheduler版本多：涉及1.12到1.20几十个集群集群托管：调度器由云厂商托管，不可见基于1.22版本进行开发更改抢锁优先级，锁优先级高于云厂商的kube-scheduler1.18-1.20版本 feature-gates=CSIStorageCapacity=false,PodDisruptionBudget=false1.14-1.16

3、版本关闭插件NodeVolumeLimits限制每个node的pvc数量VolumeBinding pvc延迟挂载1.12-1.13版本没有lease对象，替换默认的抢锁方式为endpoint统一kube-schedulerVolcano调度Volcano的抢占TFjob 套餐大数量多按queue、资源池划分资源任务提交的时间不固定0点开始进入高峰闲置资源申请后遗忘，项目变动发布的buffer资源提前储备资源重构，改为事件触发模式节点整理混部资源闲置资源治理成果超售+机型置换 退机4W核闲置资源治理 提供5w核混部提供 5w核算力整体利用率提升了7%探索探索在离线统一调度推动混部业务大规模上量训练任务的弹性伸缩