3-AI视觉模型结合页面知识图谱助力UI自动化完成视觉需求测试落地实践-仲思宇-0711.pdf

《3-AI视觉模型结合页面知识图谱助力UI自动化完成视觉需求测试落地实践-仲思宇-0711.pdf》由会员分享，可在线阅读，更多相关《3-AI视觉模型结合页面知识图谱助力UI自动化完成视觉需求测试落地实践-仲思宇-0711.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、AI视觉模型结合页面知识图谱助力UI自动化完成视觉需求测试落地实践讲 师：仲思宇仲思宇负责58到家测试工具体系规划与架构设计，拥有多项测试工具发明专利。深耕客户端与服务端自动化测试多年，擅长业务质量体系规划及技术赋能落地，丰富的测试平台建设与效能提升经验。专注领域：质量体系建设、AI测试体系建设个人介绍58同城 本地生活-质量部-测试平台研发负责人01020304050607背景介绍-我们能用AI做哪些现有迭代类型的测试AI视觉大模型建设UI自动化测试能力需求文档如何生成可执行提示词知识图谱增强知识库，提高执行链路准确率如何自更新业务链路知识库应用效果与展示后续规划目录CALALOGUEUE前

2、端需求后端需求前台业务视角功能逻辑需求H5页面改动App Native/RN纯后台需求技术改造需求小程序埋点前后端需求50%纯前端改动30%其他20%需求比例纯前端改动30%性能需求多模态测试页面改动xx%AI是否可以承接我们能用AI做哪些现有迭代类型的测试AI测试xx%通过多模态大模型能力，完成纯前端改动的xx%部分，降低人力介入借助多模态AI赋能，我们能做什么不需要写固定脚本自适应页面操作自然语言、需求描述驱动任务低成本推广脚本编写和维护成本高页面固化操作框架有一定学习成本无法快速适配其他业务传统UI自动化问题通过AI优化后想要的AI自适应测试，完成 xx%测试率低成本部署、测试使用和扩展

3、到其他业务等UI自动化优势+AIAndroid支持的端PC-WebH5小程序AI端测试支持的测试能力回放测试生成报告执行日志Dify工作流RAGFlow需求文档知识库测试用例需求解析提示词关联测试覆盖率业务地图页面结构Neo4j知识图谱大模型配置多场景任务AI断言实时反馈设备执行过程配置及链路功能操作端能力打开App打开网址点击长按截图页面结构录制视频设备尺寸返回输入滑动滑动到底部页面遍历客户端AI自动化测试架构介绍无图、单图和多图决策断言解析页面OCRAI视觉大模型建设UI自动化测试能力AI视觉大模型能力驱动UI自动化提高大模型理解效果如何让大模型以人的思路执行测试我们当前观察做决定预判现在

4、未来经验不确定确定的过去结果形成经验AI Agent整体思考过程观察：现在，该做什么思考：联结过去与现在，规划下一步反思：审视过程，校正方向总结：是不是完成了要做的事情过去与现在驱动终端的关键步骤观察模式观察现在，该做什么思考结合上一步与现在，规划该做什么操作执行设备反思审视过程，校正方向总结是不是完成了要做的事情AI Agent过去与现在根据自然语言，对每一步进行观察，并执行设备如：在日常保洁品类下一单深度保洁订单观察特征“日常保洁”-思考,操作“日常保洁”-操作,点击-反思,“是否正确操作，错误的话返回上一页”-总结前面所有完成的内容每一步 循环上述5个环节，完成整体下单操作观察-思考-操

5、作-反思-总结执 行 过 程提示词内容和当前页面特征完成任务要做什么执行思考后的特征操作后的结果是否符合任务规划前面所有完成的内容#背景根据需求内容关联到的执行链路：1、首页点击日常保洁2、家庭保洁页面点击“深度保洁3、选择到深度保洁后点击下方立即预约4、进入到确认订单页面点击预约并支付#历史操作记录为完成用户指令要求，你已执行以下操作序列：第1步操作，总结：我已经进入了首页，现在需要点击日常保洁进入深度保洁页面。操作：日常保洁第2步操作，总结：我已经进入了家庭保洁页面，现在需要点击深度保洁进入确认订单页面。操作：深度保洁#进度思考完成历史操作后，你对当前指令完成进度的思考如下：已完成内容：已

6、经进入了家庭保洁页面，并点击了深度保洁进入确认订单页面。#响应要求现在需要更新已完成内容。该内容应基于历史操作记录章节，概括当前已实际完成的所有内容（不局限概括操作的元素）。#输出格式输出格式要求：*已完成内容*更新后的已完成内容。不要说明任何操作的目的，仅总结历史操作记录中实际完成的内容。问题问题1：增强模型理解能力：增强模型理解能力动态动态prompts+审查流程审查流程审查结果审查结果是否推进任务是否推进任务继续任务继续任务A步骤B步骤每一步之后的思考过程，确保推理步骤的正确性每一步之后的思考过程，确保推理步骤的正确性D步骤 场景场景1：进入错误页面，返回上一层进入错误页面，返回上一层场