田国良-解放运维双手能力中台赋能容器云智能化运维实践.pdf

1、1解放运维双手：容器云智能化运维实践田国良中国移动通信集团江苏有限公司-资深架构师、资深专家江苏移动DICT人才、省本部先进个人，省IT优秀技术带头人，集团公司IT运维专家，集团公司十百千专家，具有多年的运维管理经验、运维系统规划经验、业务连续性管理经验、AIOPS运维能力构建经验，拥有专利11项。2容器云运维的背景和问题容器云智能运维建设实践容器云运维演进方向思考3容器云运维的背景和问题4容器云运维的背景和问题5系统迁移上云，容器平台资源关系、拓扑复杂性上升，运维数据量大，分析的投入增加容器云平台运维指标的变化比较频繁，以前固定阈值的运维模式，不适合目前容器云环境下的应用运维诉求针对容器云的

2、健康状态排查，缺乏衡量方式针对Pod的状态异常，缺乏分析手段K8S云原生的自动扩缩容机制，还不健全容器云对于资源的调度，存在不均衡的问题，容易产生局部的资源过热当出现严重的硬件、全业务中心故障的时候，中心级故障无法快速恢复面对的背景实际的问题系统规模越来越大，为优化IT云布局，中国移动集团公司推进全网IT云资源池集中化系统复杂度高、系统规模大、海量告警、排障难突发故障，大量依赖人力分析，效率低、不准确、不及时人少、事多、责任大容器云智能运维建设实践6思路概述7资源异常管理容量管理健康可视化管理应用可用性管理应急容灾管理容器云上容器云上下游容器实例内/外部容器实例间集群/业务中心间Pod宿主机夯

3、死内存OOMVolume挂载异常Node负载高Pod处于TerminatingPod吞吐率趋势变化就绪检查失败存活检查失败识别资源对象多协议多场景终端探测PC端可用性探测弹性伸缩周期规律弹性伸缩热点突增弹性伸缩应用达量弹性伸缩应用定时故障恢复弹性扩缩资源均衡调度弹性伸缩趋势升降资源调度资源超卖资源调度节点集中系统健康度评分树形模型打分异常数据响应数据系统负载日志应用性能波动检测配置评分模型权重日志&KPI融合分析分流Pod隔离熔断Pod重启Pod新建波形识别日志识别事件识别故障点定位租户资源画像波动源定位智能扩缩容规则扩缩容均衡资源调度灰度递进多活多中心无感切换容器云智能运维引擎容器云运维指标

4、体系探测场景梳理资源关系拓扑梳理探测对象梳理容器云智能运维接口探测接口梳理移动APP探测各工具控制台（前端/后端）逐项检查控制台状态1异常感知2智能根因3自愈脚本硬件核心部件故障全业务中心瘫痪访问流量采集智能策略路由灰度滚动应急切换手动切灾备故障影响面采集实践方向系统智能巡检巡检项梳理巡检路径剪枝调用链分层调用链采集调用链贯穿分析技术实践（一览众山小）8梳理容器云应用资源关系模型，实现容器上应用可用性探测反馈。u全面支持基础设施、组件服务业务系统等资源对象的管理。网络安全HTTPPingScriptSocketIaaS主机存储容器数据库PaaS虚拟化组件系统接口SaaS应用服务AgentAPI

5、1、APP应用（IOS/Android）2、Web/H5页面支持多终端探测、展示多协议资源关系拓扑梳理+自动发现探测、探测任务梳理探测场景梳理探测对象梳理u支持增量资源对象的自动发现支持移动端并行仿真探测 第一时间知道有问题发生；第一时间知道影响哪些应用，影响哪些应用资源对象。容器云上应用可用性探测。l措施：实现了云化运维模式转变，从“被动到主动”、“片面到全局”、“单维到多维”转变，利用主动探测提前发现问题。l问题：针对容器云上的应用，从客户感知视角，如何第一时间、主动发现应用的可用性问题？即使问题隐藏在PAAS、甚至IAAS层。技术实践（一览众山小）-图例9探测API配置探测协议配置探测任

6、务一览探测终端探测总览技术实践（云深也知处）10接入容器云多维数据，智能分析海量数据趋势和异常，可视化展示容器云健康度评分；全量巡检后生成决策树，执行巡检关键路径的剪枝，提速系统智能巡检；通过数据整合，构建全链路全层级端到端调用链拓扑，达成端到端、多平面、全链路、跨系统调用链路追踪分析采集应用性能数据容器云运维指标体系配置评分模型权重：涉及主机、组件、应用配置的重要性日志系统负载异常数据响应时间模型权重采集数据配置权重多维数据智能分析引擎无监督异常检测日志分析树形模型打分日志和KPI融合根因分析日志解析序列向量化级联聚类关联分析基于统计学异常检测基于机器学习异常检测集成算法判定系统健康度支撑平