A3--胡应广--AI辅助自动化测试用例失败根因诊断.pdf

1、AI辅助自动化测试用例失败根因诊断胡应广华为技术有限公司胡应广华为技术有限公司 测试工程与AI自动化专家华为GTS产品高级测试开发工程师华为测试工程与AI自动化专家，多年云原生软件测试开发经验，负责GTS产品测试系统构架设计与开发，发表专利数篇。目前主要负责大模型应用测评系统设计、主导大模型辅助研发项目探索与实践。目录C O N T E N T S1.背景介绍2.面临的问题和挑战3.AI辅助失败用例根因诊断方案介绍4.实践效果与展望背景介绍01自动化测试用例失败分析流程与耗时 自动化测试流程出包安装 编译出包 环境安装失败用例定位分析 查看执行机日志 失败的步骤检查 响应码检查 响应内容检查

2、进行问题复现 重新执行用例，对比正常执行日志进行初步诊断问题处理 检查环境信息 检查用例相关服务状态和环境配置是否正常 版本问题提单跟踪 用例问题修复用例 环境问题修复环境 分析业务日志 登录节点查看业务日志，进一步分析根因用例执行 测试数据预置 自动化用例执行小时级小时级xx人天（用例规模10w+、失败用例千级）x人天多流水线并行迭代开发模式下需要通过执行大量自动化用例快速反馈版本质量和存在的问题，全量自动化用例执行一次失败用例比较多，全部依赖人工分析投入效率低、工作量大，问题反馈周期长，无法满足业务诉求；即便把自动化用例通过率提升到99%以上，每天仍然有上千个失败用例要人工分析，按照现有效

3、率计算仍需要数人天。业务痛点面临的问题和挑战02失败用例分析主要瓶颈和挑战日志获取困难人工分析效率低相同问题重复分析业务环境集群化部署组网复杂，日志分散在不同的节点容器上，人工获取用例执行日志困难自动化用例并行执行，无法准确区分失败用例对应的业务日志自动化测试用例失败影响因素多，人工分析效率低历史经验无法很好的复用同一批次相同/相似失败用例重复分析相同版本跨测试环境相同/相似失败用例重复分析失败用例历史相同/相似问题重复分析AI辅助失败用例根因诊断方案介绍03LLM+RAG自动化用例失败根因联合诊断方案【整体思路】利用大模型文本语义理解能力外挂领域向量知识库，实现自动化用例失败根因智能推荐；同

4、时结合聚类分析模型进行问题去重，提高失败用例分析和修复效率。1、多态日志采集和清洗自动采集失败用例AW日志、调用链日志、业务日志、环境状态和配置信息。2、历史经验向量知识库建立专家规则库、典型失败案例库、存量用例已知根因知识库用于相似检索。3、日志特征聚类分析针对同一批次失败用例日志特征通过算法聚类去重，避免同类问题重复分析。4、LLM+RAG问题根因推荐基于LLM提取失败日志特征生成摘要，检索相似失败用例使用few-shot prompt进行大模型问题根因推荐。解决思路&关键技术华为盘古大模型已知问题根因/问题分类-SFT典型失败用例案例库专家规则库失败用例日志特征聚类失败日志摘要模型层知识

5、库（RAG）服务层LLM华为盘古-S大模型存量失败用例已知根因知识库失败日志摘要Prompt模板问题根因推理Prompt模板(few-shot)失败日志预处理（降噪）失败重试日志 等待时间日志 日期、时间戳 超长的HTML Body体 无用的请求Header 超Token长度裁剪 资产层Embedding ModelPrompt Engineering多态日志采集日志模板规则管理日志处理引擎用例失败根因推荐应用层对接自动化测试流水线测试作业平台历史相似问题检索失败分析Copilot模型评估12聚类模型失败用例问题根因诊断模型架构失败用例问题根因联合诊断API34知识图谱（KGs）关键技术1：多

6、态日志采集和清洗日志清洗多态日志采集特征提取日志解析1、测试脚本执行日志2、API接口调用链日志3、服务端业务失败日志日志加载选择模板解析日志内容日志保存测试步骤请求指令接口标识预期结果实际结果响应码响应内容错误信息调用链日志 失败重试日志等待时间日志日期、时间戳IP/Port mask替换超长的HTML Body体无用的请求Header无用的solution日志超长Token内容裁剪 对日志降噪和过滤提取失败要素日志加载和预处理失败用例多态日志采集原始日志特征日志1特征日志2特征日志3 清洗后的日志通过日志清洗，保留用例失败原因相关的特性要素，保证向量知识库相似问题检索召回准确性和大模型推理