Gtest_【大模型测试专场】-《基于LLM的Web UI自动化方案及实践》腾讯韩贝.pdf

《Gtest_【大模型测试专场】-《基于LLM的Web UI自动化方案及实践》腾讯韩贝.pdf》由会员分享，可在线阅读，更多相关《Gtest_【大模型测试专场】-《基于LLM的Web UI自动化方案及实践》腾讯韩贝.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、测无止境 数智共进2024全球软件测试技术峰会北京 12月基于LLM的Web UI自动化方案及实践演讲人：韩贝2024年12月7日姓名：韩贝腾讯云专项技术测试高级工程师学历：硕士，工作经验：5年（腾讯）研效经验：NOW直播、腾讯手机管家专项经验：腾讯安全系列产品工具平台经验：小程序自动化sdk alumni测试数据管理平台 gzqcp大模型UI自动化 mozi背景介绍替代一般脑力劳动，如工业检测、文字实体识别、语音转文本等检测式AI辅助替代部分复杂脑力工作，如编程、策划、写作等生成式AIChatGPT横空出世：初始想法：说干就干：大模型多模态自动化工具测试人员大模型多模态自动化工具Mozi功能

2、用例浏览器Mozi 主要思路概述利用大模型对自然语言,图像的理解能力,实现理解测试用例描述并执行动作,验证界面结果给大模型的输入:1.预置工具能力的描述2.相对规范的用例执行过程的描述3.界面截图大模型的输出:1.调用工具的API,参数2.对界面的判断(断言)适用范围:业务中基础核心用例的自动化执行，降低重复类执行工作的人力投入，提高用户可感知的质量.大模型模拟具备基本常识的测试执行人员,理解用例描述,操作执行,判断结果.从而解决传统UI自动化写用例,维护的门槛和成本,让UI自动化能真正提高测试效率和产品质量Mozi 用例演示功能测试用例：腾讯云WAF域名接入、查看与删除Mozi使用演示Moz

3、i 用例步骤执行过程功能用例Mozi步骤预期结果点击”添加域名”链接当前是否为添加域名页面进行域名信息输入,输入信息(域名:,源站地址:106.52.70.165,备注:mozi接入),然后点”确定”接入成功页面无异常提示点击”知道了”列表数据中，是否包含操作点击页面中部链接”获取鼠标焦点即可选择模糊匹配查询属性”,然后点击”域名”链接,输入域名”,回车完成输入接入列表数据中，是否包含点击”删除”链接,点击”确定”页面接入列表数据是否为空Action 描述界面标记,截图Assert 描述界面截图Prompt+action描述+界面截图操作类型,操作对象,参数执行操作Prompt+assert描

4、述+界面截图断言结果123456判断结果LLMGPT-4otoast分析GPT-4o(操作分析(断言分析公共模块,前置条件GPT-40菜单分析Mozi 驱动自动化工具执行动作执行层的抽象封装(共15个封装函数)动作分析点击回车涉及文本、图标输入回车。文本输入输入函数名称功能click_icon点击图标click_link点击文本radio_chose单选框组操作hover页面hover操作input输入文本enter操作回车page_scrolling页面滚动。例子-登录操作：调用函数：click_iconInputclick_link页面滚动滚动坐标计算页面DOM数据元素聚合标识设定Mozi

5、 连接LLM进行动作生成和断言操作生成：断言判断：Mozi问:界面截图(标记),操作提示词+action描述LLM答:执行xxx动作,参数是yyyMozi问:界面截图,断言提示词+action描述LLM答:根据断言判断以及判断页面是否有异常Mozi 和传统UI自动化的对比传统UI自动化关键字驱动录制回放Mozi写用例方式代码固定关键字模式人工操作+参数调整自然语言能力要求Python/JShtml了解框架词汇表/模式框架+xpath模型对话工具Chrome debugIDEBDD or 表格类似cucumberWebDriverCypress等规范化的用例描述断言精确/局部精确/局部精确/局部

6、精确+模糊/全面上手门槛高中低低协作难度较难一般较难容易用例复用较难一般很难容易变更适配敏感中/依赖代码质量中/依赖框架能力高/几乎无法缓解较低/依赖框架能力模型能力会不断增强变更适配投入高/需要代码调试高/需要框架支持较低/重新录制中/调整用例描述执行效率高中等高低检出问题的能力非业务逻辑变化的适应性业务测试人员 vs 自动化实现人员初始作者 vs 后续维护者变更敏感:小变更带来的变更量变更投入:单用例调整的工作量乘数关系结论:Mozi对比传统UI自动化，实现用自然语言写自动化，降低写用例的门槛和维护用例的成本.断言更加全面。使用Mozi写用例碰到的问题1、简略描述-细致具体的步骤描述简短用