1-王博-如何设计可落地的智能运维算法.pdf

1、如何设计可落地的智能运维算法阿里云 王博2023 深圳站王博从2014年开始从事智能运维与监控产品架构方向探索工作，重点关注时序指标异常检测、应用层故障诊断、应用层容量建模、报警业务架构及产品化的工作。曾担任百度智能运维方向负责人、百度Argus报警平台负责人，现担任阿里专有云应用监控及事件中技术负责人，同时负责阿里公有云及专有云监控的智能化工作阿里云运维技术专家2023 深圳站目录CONTENTS!#$%&()*+,-.01 !#$%&()*+02 ,-./%012()*3+03 4567804 2023 深圳站01智能运维之殇算法为什么难落地？2023 深圳站智能运维之殇：算法为什么难落地

2、？SLB 7层网络耗时？CPU利用率？MQ队列长度？内存使用率？有监督学习算法解决运维领域问题也许是个奢望？正负样本比例不平衡，负样本少运维场景数据标注成本高很多场景的标注准确性差抛开场景谈算法都是耍流氓按照数据波动趋势选择算法合理吗？周期性检测、突变检测、趋势变化检测单指标、多指标？何时选用单指标？何时选用多指标？特定行业数据特性的适配如何解决算法参数配置成本和可解释性海量时序指标，参数配置和维护成本高：alpha、beta、gamma？算法结果如何解释，采纳 or 不采纳2023 深圳站智能运维之殇：如何设计可落地的智能运维算法？面向场景的算法设计思路 场景分析设计（运维经验）数据准备（设

3、计数据收集系统，充足的实验数据，少量的标注数据）根据场景的背景建立数学模型（运维经验+行业经验）算法验证评估（评估方法）影响智能运维落地的因素数据运维经验行业经验算法2023 深圳站02异常检测2023 深圳站异常检测：问题分析请求量下跌收入下跌资金损失应用容量补足STLARIMA变分自编码网络（VAE）EVT泊松分布二项分布正态分布？故障场景与算法技术存在鸿沟数据噪声对基线预测影响很大参数配置成本高2023 深圳站异常检测：【案例1】错误数监控的方案及问题错误数监控请求数!,=1,2,错误数!,=1,2,判断当前的!是否过大问题：如何解决不同API的配置成本基于错误率的监控错误率!=!#!,

4、=1,2,请求数较小的时候需要调整阈值问题：如何解决夜间流量较低的时候的配置成本基于错误率同环比监控问题：切入流量后的配置问题2023 深圳站异常检测：【案例1】基于N-sigma算法的错误数监控判断错误数是否过高的算法历史数据!|=1.计算样本均值和样本标准差 =!#%,=$%!#$%)异常检测*+3统计学视角假设响应时间服从正态分布!(,+)参数估计方法=,=计算概率*+3 0.13%指标+算法+原因全景分层故障场景指标算法原因业务层成交额下跌成交额同比检测业务攻击抓取访问量突升检测应用层调用量下跌调用量突降检测+泊松分布上游或接入问题调用错误率上涨调用量、成功率二项分布检测应用逻辑出错调

5、用体验变差调用耗时尾部建模=上涨阈值基础资源不足、调用量变多、应用逻辑变复杂应用性能变差调用量、调用耗时排队论应用逻辑变复杂应用容量不足调用量排队论=上涨阈值调用量变多、应用逻辑变复杂云资源层磁盘IO瓶颈磁盘IO、机器内存磁盘IO问题2023 深圳站异常检测：生产环境效果耗时检测成功率异常检测内存OOM预警容量水位预测 覆盖和支持阿里集团6000+核心业务指标 交易类故障预警准确率90%+，召回率95%+2020双11前的某次生产突袭演练中，智能监控策略在40秒内发出预警，集团技术人员马上进行应急响应和快恢操作，最终帮助故障快速恢复。业务秒级请求量指标监控业务请求量下跌监控黄金指标一键接入20

6、23 深圳站03故障诊断2023 深圳站故障诊断：场景及问题分析问题和挑战业务、应用层孤立，业务层没有方案可解释性问题（运维老专家、老深度算法）算法无法落地（误诊责任界定问题）IT（运维）业务（运营）中医经验式诊断难传承西医逻辑！会员登录商品推荐商品详情页添加商品到购物车查看购物车生成确认单提交订单营收=支付金额 X 支付次数运维学徒的诊断之旅1.营收下跌，可能是业务因素，与运维团队管不管？运维老专家不会，得找运营专家一起会诊2.商品推荐、商品详情页、添加商品到购物车环节可用性下跌，运维老专家直接就指出来是商品DB故障，这种经验咋学？3.营收下跌，业界算法直接告诉你是购物车应用故障，你采纳不采