2-大模型助力自动化测试效率提升实践-0720-郝晓升.pdf

1、大模型助力自动化测试效率提升实践讲 师：郝晓升郝晓升科大讯飞 高级系统测试工程师9年服务端开发测试经验，对接口测试、性能测试及分布式系统高可用测试有一定研究和实践。对大模型测试域提效有较为丰富的探索及实践，负责集团大模型相关的测试域探索及工具建设，推动测试工具在集团内的推广落地，助力集团测试人员持续提效目录01CONTENTS020304背景介绍大模型建设整体架构介绍大模型在接口自动化的应用大模型在UI自动化的应用05应用成效06未来规划07场景拓展大模型技术浪潮下，将大模型融入到软件工程生命周期中的各个环节，实现研测提效需求分析概要设计详细设计编码实现需求测试单元测试模块集成系统构建系统部署

2、集成测试系统测试验收测试测试设计概要设计说明书需求规格说明书详细设计说明书工程代码测试方案单元测试用例单元测试用例功能用例接口脚本UI脚本性能稳定性脚本 质量保障软件工程生命周期研发过程测试过程过程产物过程产物15%20%65%时间占比研发测试过程约占软件工程生命周期大部分时间，可将大模型应用到该阶段，提升过程产物输出的效率及质量，实现整体提效背景介绍典型案例一典型案例二典型案例三实践场景业务线验证价值点问题点实践场景业务线验证价值点问题点实践场景业务线验证价值点问题点p 接口测试脚本生成p 试点业务一p 生成10条用例，可以直接执行成功5条，有5条需要人工介入调试，可以快速生成接口测试用例脚

3、本，生成后只需要人工进行简单调试就可以运行。脚本效率提升50%p 部分用例需要人工介入调试p UI自动化测试脚本生成p 试点业务二p 大模型实现大部分用例从步骤描述到测试脚本的转化，转化后还需要人工介入调试。单个用例脚本编写耗时可以由2小时缩短到1小时，效率提升50%p 需要人工介入调试p 测试工具脚本生成p 试点业务三p 大模型可以实现大部分当前测试过程中的大部分小工具脚本生成，效率提升50%+p 需求描述要清楚，生成的脚本无法保证100%可以直接运行需要做好调试的准备实践发现，大模型可在自动化测试中发挥较大作用，辅助测试人员提升效率背景介绍大模型底座通用模型代码模型多模态嵌入模型提词组装调

4、度层模型选择知识库检索数据组装接口定义流量数据产品需求日志数据数据管理提词管理提词模板提词推荐自定义提词产品功能用例生成接口脚本生成UI自动化脚本生成问题排查数据运营数据埋点价值指标数据数据大盘运营分析报告依托星火大模型底座，将数据进行统一的调度、整合及编排，实现用例生成、自动化脚本生成等主要产品功能，并通过持续的价值指标数据采集及运营分析，为大模型的持续提升提供数据支撑大模型建设整体架构介绍l 当前平台主要针对HTTP协议进行接口的智能化测试l 当新增接口用例或将接口定义导入时，会调用智能用例生成服务自动生成接口自动化用例l 针对单个接口，大模型会根据接口定义文档（符合Swagger或Ope

5、nAPI接口定义规范），从参数缺失、参数正常及异常、参数边界值、是否必传几个场景生成测试用例l 针对场景接口，大模型会分析多个接口定义文件，解析同一资源的CRUD及接口间的传参依赖，并辅以环境流量数据，生成接口场景测试用例大模型在接口自动化的应用大模型在接口自动化的应用l接口自动化用例及脚本生成l面向所有测试人员，提供接口测试用例及脚本自动生成的能力，根据接口定义文档输出测试用例及脚本，降低脚本编写的门槛，提高接口测试用例及脚本编写的效率l场景自动化用例及脚本生成l根据多个接口定义文档，自动编排生成场景级测试脚本，提升场景测试脚本编写效率大模型在接口自动化的应用根据当前连接设备的页面生成脚本适

6、用：快速编写页面及冒烟用例全自动模式录制回放模式支持airtest录制rec的文件生成case适用：快速录制回放生成脚本用例生成脚本模式测试平台导出用例按模板生成脚本适用：快速编写业务全量用例大模型在UI自动化的应用大模型在UI自动化的应用在业务文件夹case下生成用例，将自动关联element元素代码，并依照给定格式输出统一样式的用例python文件Excel用例文本Element代码已有代码样例公用方法代码1.交互控件 2.页面跳转逻辑 3.预期结果点击、划动、断言等方法大模型在UI自动化的应用 用例的步骤与预期成对出现，即每个步骤对应一个预期结果，保证每个步骤都可以生成校验语句，保障脚本