A3--刘鹏威--华为云交易平台性能看护10倍质效提升之路.pdf

1、华为云交易平台性能看护10倍质效提升之路刘鹏威华为云高级测试工程师刘鹏威从事性能测试与调优工作5年，对云化微服务框架下的性能测试架构有深刻的理解。主导构建了华为云交易平台的devops全流程性能看护框架。参与保障历次华为云大促。目前从事性能测试智能化相关工作。华为云高级测试工程师嘉宾照片目录CONTENTS01 交易平台性能测试架构实践的背景介绍02 指标&弹性测试自动化实践03 SQL性能质量自动化看护实践04 线上监控测试线上监控测试05 01议题背景背景介绍挑战：1、被测系统数百微服务、万级接口、十万级SQL，实验室覆盖率低2、微服务架构下场景调用链复杂，测试过程繁琐，测试周期长，人员投

2、入大，匹配不了版本发布要求3、业务迭代快，性能波动频繁，日常测试中定位性能波动的根因困难4、线上性能问题影响面广，服务要求性能质量高5、业务模型复杂，实验室测不准解决方案u SQL性能质量自动分析u 核心场景性能自动化看护u 性能瓶颈自动根因定位u 线上监控测试，发现性能风险，线下测试闭环风险u 线上性能模型自动挖掘，纠正实验室模型02交易平台性交易平台性能测试架构能测试架构交易平台云化性能测试架构测试质量评估性能瓶颈自动定界线上模型发掘在线性能风险分析性能E2E环境：POD弹性伸缩+资源监控+JVM+APM基础环境技术&实践Gamma类生产测试alpha组件测试Product线上测试压力弹性

3、扩容测试自动化性能问题快速感知动态SQL自动测试大促保障压测性能风险识别用例自动执行SQL自动测试SQL质量评估弹性扩容评估大促保障评估核心场景性能基线评估接口/场景性能基线测试自动化数据量X倍测试性能模型挖掘Beta集成测试静态SQL扫描测试评估03指标指标&弹性弹性测试自动化测试自动化指标指标&弹性测试弹性测试自动化实践自动化实践u 场景性能自动化看护u 性能弹性扩容测试自动化u 性能瓶颈自动根因定位u 性能波动全息数据对比分析主要技术能力：性能指标基线自动化测试风险场景选取：业务核心场景现网高频高耗场景需求高频变化场景执行频率：微服务独立发布，微服务关联用例执行版本集中发布，全量用例执行

4、性能下降评判条件：TPS、时延低于基线值GC次数恶化资源使用率增加目的：看护风险场景性能不下降弹性测试自动化弹性扩缩容能力是云原生服务的基本要求，测试和日常看护过程中遇到微服务多、交互复杂、测试验证复杂度高，测试成本高的困难。日志调用链Mem慢SQL压力机分析结果数据库Flink分析工作流CPU中间件数据源kafka子系统服务瓶颈分析性能全息监控弹性压测控制性能数据全息比对分析JVM弹性扩容测试自动化总体架构性能瓶颈自动根因定位问题建模：问题建模：目标函数：目标函数：以TPS为目标函数，TPS陡降、时延陡增点即为过载压力点搜索步长：搜索步长：以TPS增加梯度为步长，TPS增长快的区域，步长大，

5、利于快速爬坡过过压力点断定算法：压力点断定算法：1、初始化状态为1并发，增加到X并发压力作为首次步长2、判断两点的TPS比率rat，如果比率大于1，增加压力*rat，重复第二步，如果比率小于1，跳转到第三步3、如果比率小于1，停止爬坡，输出结果典型系统压力性能变化曲线达到性能瓶颈时如何自动的感知实际测试中，经常遇到抖动突变点（GC、网络抖动、其他事件影响等），这样会导致算法进入鞍点，不能有效找到过载点鞍点，到达这里可能搜索停止解决方案：解决方案：1、采用中值滤波来进行预处理，去除脉冲噪声2、在某个并发压力点上压测一段时间，取其平均TPS，可有效去除其噪点。两种方案结合，可使算法的鲁棒性大幅提升

6、性能瓶颈自动根因定位SUT资源JVM采集调用链采集结果存储微服务分析计算消息队列DCSRDSAPM自动定界定位架构实现方案：实现方案：1、基于微服务视角的信息聚合聚合微服务的CPU、MEM、FGC、处理失败率及其关联的DB、缓存监控等信息研判微服务健康度。微服务健康级别分为严重、告警、正常。2、基于微服务自身时延的瓶颈定界 依据调用链构建接口调用树。计算每个树节点的自身时延。汇聚相同调用链相同节点的自身时延数据，计算所有调用的平均自身时延。系统达到过压后，时延最长的子链就是瓶颈点。链路耗时分段计算微服务A微服务B微服务D微服务C微服务A微服务微服务A微服务微服务B微服务微服务C微服务微服务D微