A4--王文浩--智能分析在自动化测试中的探索与应用.pdf

《A4--王文浩--智能分析在自动化测试中的探索与应用.pdf》由会员分享，可在线阅读，更多相关《A4--王文浩--智能分析在自动化测试中的探索与应用.pdf（37页珍藏版）》请在三个皮匠报告上搜索。

1、智能分析在自动化测试中的探索与应用王文皓恒生电子股份有限公司王文皓恒生电子-技术平台测试架构部 测试开发专家负责自动化测试工具和相关平台的研发、精准测试、可信测试、代码覆盖率等相关技术研发和布道。曾就职于华为技术有限公司和中国电信，从事网络产品的测试、测试管理平台、自动化测试工具、Devops平台的开发等工作。至今已拥有超10年的软件测试和开发的从业经验。目录C O N T E N T S背景介绍解决思路技术实现实践效果总结展望背景介绍01l 自动化执行失败的用例分析效率，直接影响集成与系统测试的周期长短。软件测试流程活动需求设计开发测试验证发布测试需求分析与计划测试方案设计测试用例设计集成&

2、系统测试试点测试测试关闭需求分析制定测试计划制定测试方案测试环境管理自动化方案设计自动化策略分析测试分析用例设计用例设计自动化编码自动化执行冒烟测试回归测试每日构建信创测试自动化分析手工测试执行(DFX测试)产品质量评估与开发同步进行自动化执行耗时：自动化分析耗时=1:20自动化规模庞大，平均5W+日构建中失败用例分析比例低自动化失败用例分析现 状挑 战缺陷发现滞后，末期集中改单逐个分析，依赖经验，无沉淀降低自动化的分析周期快速识别被测软件缺陷积累分析经验，形成知识库解决思路02l 快速分析自动化执行失败的用例，降低缺陷识别成本，缩短Bug修复周期。智能分析解决的痛点自动化执行日志采集自动化分

3、析测试报告结果采集请求响应日志工具框架日志业务日志日志存储人工分析产品缺陷提单产品变更修改用例环境问题修复重测用例问题修改用例工具问题修复重测脚本问题修复重测本用例分析完成最后一个出报告智能分析自动分类人工审核产品缺陷提单修改重测出报告人工逐个分析机器分析 人工审核智能分析的实现方法针对测试工具和测试平台整理标准错误码，形成内置规则针对用户的关键日志和业务场景形成用户自定义规则基于固定的规则进行匹配分析用例已关联的历史缺陷解决情况分析关键失败日志的文本相似度基于用例历史分析结论进行预测针对自动化分析场景的prompt进行优化，大模型给出分析和解决方式基于大模型进行分析预测技术实现03新增缺陷已

4、知缺陷疑似缺陷页面变更接口变更环境变更数据变更网络异常数据库异常浏览器问题依赖服务异常磁盘内存问题组件依赖问题业务配置问题运维失误逻辑错误前置条件错误测试数据错误期望检查错误稳定性逻辑功能语法实现参数错误配置问题MOCK异常BLADE异常其他工具问题l 统一标准、提高效率、质量控制、决策改进失败原因标准化产品缺陷产品变更用例设计脚本问题工具问题环境问题u平台执行自动化测试用例。u对执行结果、执行日志、业务日志等进行采集和清洗，建立特征向量。u优先对清洗后的日志进行规则匹配。u规则未匹配则输入预测模型做分析。u模型预测效果不佳时通过大模型进一步分析。智能分析的实现流程自动化执行日志采集规则匹配模

5、型预测大模型分析结果采集请求响应日志工具框架日志业务日志日志清洗分词特征向量内置规则自定义规则正则引擎模型训练相似度分析历史经验GPT4o文心一言通义千问是否匹配相似度阈值产品缺陷用例设计.环境问题产品缺陷用例设计.环境问题产品缺陷用例设计.环境问题匹配不匹配高阈值低阈值日志清洗和分词原始文本二次清洗jieba分词特征向量计算原始日志清洗后的日志u优先级从高到低匹配。u使用命名捕获组（named capture group）来标识每个子表达式。u组装内置规则的捕获组。u通过匹配清洗后的测试日志精准确定命中的表达式。规则匹配引擎实现域名错误503错误403错误502错误504超时401错误(?n

6、o such host)|(?-503.*varc_resp_status_code=503)|.(?error:invalid_token.*-401受理单信息登记成功，acptID*未查询到varc_op_remark变量的记录-X 2024-04-15 15:04:22:087 ERROR -响应检查失败-.#日志结束#响应格式请按照错误分类定义和运行日志日志内容，帮我对失败的用例进行分析给出最可能的一个失败原因并给出对应的解决建议。输出格式按照如下的JSON格式：失败原因:这里只写错误原因编号的阿拉伯数字,解决建议:这里填写原因和解决方法（100