快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf

《快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf》由会员分享，可在线阅读，更多相关《快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、快速应对热点流量峰值，微博云原生运维最佳实践马朕微博研发中心基础平台负责人Contents目录基于云原生实现快速扩容以应对流量高峰微博DCP混合云平台资源分配策略优化在容量管理和提升利用率等方面开展实践010203基于云原生ECI、闪电交付实现快速扩容以应对流量高峰01成本考虑弹性资源的需求热点弹性数量的需求热点弹性速度的需求针对春晚的业务场景传统应对手段成本高设备成本时间成本热点来的更快，热度更高开始应用阿里云ECI与闪电交付技术热点应对的3个阶段针对热点事件流量热度的不断提高，短时间内需要更多的弹性资源热点服务新的挑战受业务流量持续增长影响，热点事件呈现新的特点，热点扩容需求由原来的10分

2、钟减少到现在的3至5分钟。02468101214162021年7月31日WYF事件2021年4月23日ZLY事件2021年5月22日袁老事件2020年1月26日武汉疫情事件2021年1月19日ZS事件达到流量峰值速度吞吐率创建速度在离线整合资源分配挑战：如何大幅度提升混合云弹性能力弹性能力提升每分钟资源创建能力降低单台扩容完成耗时确保核心业务优先进一步提升供给云服务器闪电交付:交付速度最高720台/min，比普通交付提升300%运维成本增加弹性资源上线降低成功率降低扩容参数不同，需管理多套扩容模板限定操作系统AliOS，维护多种镜像限定可用区，单区故障影响大限定机型，可用弹性资源减少共用通道，

3、普通交付+闪电交付=720台/min闪电交付失败同时影响普通交付云服务器闪电交付流程云容器时代开启基于kubernetes技术的弹性容器实例专属预热资源池，容器实例启动快，比云服务器启动快1分钟以上特有的ImageCache功能，镜像拉取耗时0秒弹性资源吞吐率能否再提升？优点：吞吐率500台/min 调度通道与ECS相互独立 服务启动平均耗时45s缺点：扩容能力随扩容规模有一定程度降低。0204060801001201401000台3000台6000台压测报告P90(s)成功率(%)结论：弹性资源通道增加500台/min，可用于热点首批峰值流量应对落地弹性容器实例ECI可行性分析改造 并行化改

4、造 冗余步骤合并 核心、非核心隔离链路 非核心步骤异步化提升机器创建初始化速度降低整体扩容耗时申请状态上报检查初始化磁盘初始化ssh配置业务依赖结束申请状态上报检查结束初始化磁盘ssh配置业务依赖进一步提升服务扩容能力5分钟DCP管理平台，将PUSH热点联动，由ECS扩容优化为ECI+ECS双路扩容，进一步提升服务交付能力。RPC服务化，业务全面rpc化，提升服务发现效率与业务性能6000+由5分钟2000台，提升至5分钟6000台扩容速度进一步提升将镜像仓库中的镜像，缓存至待创建的资源上，随着机器交付，镜像已经准备就绪。采用云厂商基于Kubernetes的ECI技术，由5分钟2000台，提升

5、为3分钟3000台，6分钟6000台。微博DCP混合云平台资源分配策略优化02DCP峰值应对建设-挑战问题分析：1.谁先提交创建谁，核心业务机器分配没保障2.基础环境初始化耗时高3.镜像拉取失败率高弹性扩容核心流程日常扩容热点联动机器创建FIFO基础环境初始化Docker镜像拉取服务启动负载均衡业务方提交扩容提交云厂商任务队列云服务器DCP峰值应对建设-治理核心业务机器分配没保障机器初始化问题，镜像仓库问题处理问题效率低ECS调度能力有限建立扩容策略优化扩容链路混合云决策支持系统接入K8S云容器服务DCP峰值应对建设-资源分配默认策略：公平调度，保证每个产品线每分钟都能拿到机器多产品线同时提交

6、A服务器100台B服务器100台C服务器50台D服务器10台待处理任务队列公平分配机器创建顺序DCP峰值应对建设-扩容策略多业务同时提交A服务器100台B服务器100台C服务器50台D服务器10台待处理任务队列E服务器1台优先级队列80%机器创建顺序普通队列20%热点时保核心业务优先级策略开启后，优先级队列中的业务分配更多资源DCP峰值应对-决策支持接入决策支持系统 模块全覆盖，核心指标 整体核心三元组 模块核心三元组 扩容失败率高，IVR动员待处理任务队列队列SWRR任务统计更新平滑轮转分配产品线SWRR业务线S