微博-师燕平-微博运维自动化演进之路.final-脱敏.pdf

《微博-师燕平-微博运维自动化演进之路.final-脱敏.pdf》由会员分享，可在线阅读，更多相关《微博-师燕平-微博运维自动化演进之路.final-脱敏.pdf（42页珍藏版）》请在三个皮匠报告上搜索。

1、微博运维动化之路微博基础架构运维架构师师燕平 个简介2015-今：微博（Weibo）负责微博平台和流媒体相关的服务稳定性保障参与视频源站架构改造提升户播放体验主导微博直播互动服务保障平台建设内容概述微博作为国内较的社交媒体平台之，对海量户和复杂的系统架构，不断探索和创新运维动化的式，在运维动化的演进中，微博经历了三个关键阶段。ECO动化运维平台，该平台旨在实现基础运维任务的动化，包括资源管理、监控和故障愈等。DCP混合云平台，微博对户规模的迅速增和流量峰时，需要具备弹性扩容能来保证系统的稳定性和性能。微博PaaS平台，该平台提供了全的助式服务，包括统应部署、编排，云原基础的可架构，以提开发效率

2、和平台稳定性。通过这三个阶段的演进，微博运维动化取得了显著的成果。录 业务背景 ECO 运维动化平台 热点应对弹性调度 云原 PAAS 平台业务架构Web 主站机端第三微博平台搜索 通证通证反垃圾告流媒体http 服务motan rpc 服务队列服务问题和挑战来政府的稳定性要求来第三的稳定性要求来户的稳定性要求来板的稳定性要求录 业务背景 ECO 运维动化平台 热点应对弹性调度 云原 PAAS 平台痛点业务板块复杂、设备管理困难预、频繁变更产品迭代快、维护成本指数增标完备效简洁安全ECO-核模块资产模块监控模块愈模块调度模块流程模块管理设备资产，记录业务服务信息多维度收集监控信息，下发告警实时

3、分析对阈值，触发预设愈场景分发任务，控制任务状态流程任务模版化，串联执ECO-统运维平台Web UICMDB配置中基础监控任务配置模版配置定义核组件数据中域名切换降级封杀志查询七层变更告警中调度中防抖清洗单机通道任务流ECO-典型案例传统常晚峰应对010203检查所有核服务负载记录冗余度不服务记录冗余度较核服务保留IP核服务从七层摘除重新初始化环境初始化标服务环境，将设备扩容到核服务挂载七层正常接量04摘除设备归还原业务ECO-动分时复00:00-7:0007:00-23:59深夜：离线回收凌晨：在线缩容给离线早晨：在线回收设备天：不做变更晚上：离线给在线ECO-分时设备调度调度系统扩容计划2

4、(产品线2)共享池待扩容服务服务4:a台服务5:b台服务6:c台节点同步镜像1、2、3 扩容计划1(产品线1)共享池待扩容服务服务1:a台服务2:b台服务3:c台资产系统产品线1在/离线类服务(常备实例)共享池容器镜像预热常上线产品线1产品线2服务1服务2服务3服务1服务2服务3ECO-扩展场景多样触发调度系统扩容计划准离线类服务共享池待扩容服务服务1:a台服务2:b台服务3:c台外部事件定时触发热点事件触发钉钉机器户触发界资产系统准离线类服务服务2服务1服务3准离线类服务下线(a+b+c台)下线完成节点分配+服务扩容执调度计划a台b台c台扩容完成ECO-缩短调度时间扩容决策服务下线驱逐任务停

5、容器环境清理服务志镜像拉取容器启动5-10秒55-65秒1秒ECO-动化平台收益降低运维复杂度标准化运维降低险提了运维作效率统资源管理模式，标准化预段减少预，变更历史有迹可循录 业务背景 ECO 运维动化平台 热点应对弹性调度 云原 PAAS 平台微博热点XXX 结婚啦XXX 离婚XXX 国校园枪杀XXX 出轨奥运专题疫情专题X打事件热点应对-建热点联动体系建制度制定热点等级标准形成热点联动周会成热点联动组预警与发现通过历史信息预判团队配合信息交流热点应对DCP通过IVR、IM等推送预警消息，通过热点联动后台以及智能决策系统联动触发扩容、降级热点分析服务保障记录各项信息、归档，每次热点进复盘，

6、持续改进建设热点应对-建热点联动体系建制度制定热点等级标准形成热点联动周会成热点联动组预警与发现通过历史信息预判团队配合信息交流热点应对DCP通过IVR、IM等推送预警消息，通过热点联动后台以及智能决策系统联动触发扩容、降级热点分析服务保障记录各项信息、归档，每次热点进复盘，持续改进建设热点应对-DCP 混合云NVM华为阿物理设备如何有效整合提供更多资源？热点应对-DCP 系统Feed视频机搜索阿云建云华为云服务治理智能决策代码发布七层变更指标分析预案处理SchedulerECO AgentKRSAegisNEVISPlutoECSECI/CCISLB/ELB共享池决策系统容量评估服务发现监控