吴骏龙-互联网微服务体系智能化容量预测之路.pdf

1、互联网微服务体系智能化容量预测之路主讲人：Justin Wu领域驱动设计启发下的AI视觉分析引擎构建主讲人：戴 昊演讲嘉宾介绍吴骏龙 大型互联网公司测试负责人历任Wish测试总监，阿里巴巴本地生活高级经理毕业于中国科学技术大学，硕士学位在服务容量保障、服务稳定性建设、质量基础设施建设、质量提效等领域深耕多年，善于通过创新手段解决质量和效能难题，拥有多项国内外专利多次受邀于业界各技术大会发表演讲和担任出品人，传播先进理念和方法论目录CONTENTS服务容量与容量规划1234微服务体系下容量预测难点智能化容量预测技术智能化容量预测的应用场景5未来展望服务容量与容量规划1什么是容量容器能够容纳物质的

2、量软件系统业务量能够承载的最大单位时间内=互联网系统容量典型的容量场景目前系统能支撑1000w订单量，当订单量增加到2000w时，能否支撑？订单量增加到2000w时，哪个（些）服务将成为瓶颈？这些服务需要扩容多少量？局部大促活动场景下，容量风险如何识别？容量规划与容量预测预测未来负载水平何时会使系统饱和，以及确定一个尽可能延迟系统饱和的最经济的过程。双11期间，网站需要举办大量的大促活动，我们目前的服务器能不能承载这些大促活动所产生的访问量，如果不能，用多少服务器可以最小化支撑。容量预测容量vs业务业务阶段业务特点成本管理意识探索期验证模式，从0到1粗放式管理，只控制上限进攻期市场占有率是唯一

3、目标不需要控制成本，要多少给多少发展期稳居市场TOPX，业务成熟看财报，发现设备这么花钱？变革期增速放缓，转型或变革机器成本要控制了！微服务体系下容量预测难点2微服务体系的复杂度波音777-300ER300万个零件全球17个国家，900多家供应商215公里线缆大型互联网公司数以万计的应用服务百万级容器部署规模服务依赖错综复杂低效的容量预测经验脑海中的模型抽象分析预测A：马上要双11了，服务器撑得住吗？B：要搞大促了，肯定要扩容A：扩多少？B：依我的经验，扩1000核吧A：要那么多吗？B：呃 那500核吧智能化容量预测技术3容量预测步骤容量模型特征选取建模现状分析交叉验证预测容量结果调整一个真实

4、的案例（微服务体系+容器化部署+电商场景）特征选取CPU内存磁盘IO网络IO带宽连接数Redis响应时间服务QPS异常量Queue成功率在我们的场景中，绝大部分服务都是计算型服务，CPU利用率是服务容量的重要表现指标根据调研，依赖服务QPS对本服务QPS有较强影响底层资源变化会反映到服务QPS上依赖服务建立模型（选型）必须是回归模型，而且输出值必须是连续值能够支持多输入-单输出的映射关系能够离线计算，生成的模型要能够持久化建立模型（神经网络）w1w2wnx1服务自身QPSx2依赖服务A QPSxn依赖服务N QPS偏置by服务CPU输入突触权值求和结点激活函数输出输入层隐藏层1隐藏层2输出层建

5、立模型（应用）服务A（QPS|CPU|依赖服务QPS）服务B（QPS|CPU|依赖服务QPS）服务N（QPS|CPU|依赖服务QPS）通用模型（神经网络）输入：服务QPS、依赖服务QPS=输出：服务CPU利用率参数集A参数集B参数集N系统整体容量快照（高峰期）交易链路TPS服务A QPS服务B QPS预测集服务A CPU服务B CPU缩放比例，输入进行预测收敛结果X:Y拟合 过/欠拟合 特征 模型参数 原始数据准确性评价K-折交叉验证特征选取的一些问题QPS与CPU的映射关系拟合不佳QPS与CPU的关联性（定量分析）皮尔逊相关系数r=0.99强相关r=0.69弱相关r=0.11不相关QPS与C

6、PU的关联性（对策）强相关 搜集样本 建立模型 推导输出不相关 非计算型 流量极低 其他个例弱相关 概率表 特征选取QPS与CPU的关联性（特征工程）内存连接数磁盘IO网络IO带宽中间件应用owner响应时间服务QPS异常量成功率多余特征无关特征有效特征目测法过滤法成功率长期100%包裹法ABC嵌入法在学习器训练过程中自动地进行特征选择如：featureImportanceQPS与CPU的关联性（概率表）QPSCPUCOUNT600000125660000015.529870