8-MultiAgent驱动的UI自动化测试新范式-孔繁珏-0704.pdf

1、Multi Agent 驱动的 UI 自动化测试新范式孔繁珏目录 测试痛点 AI新机遇 建设目标 解决方案 总结展望测试痛点学习门槛高 需要掌握复杂的自动化工具和编程语言，如Appium、Playwright等 自动化测试工具环境搭建复杂编写成本高 编写测试用例需要深入了解业务流程和应用结构 自动化用例开发周期长，无法快速覆盖新功能维护成本高 页面布局或功能更新后，自动化测试脚本需频繁修改 需要投入大量时间和人力资源进行脚本维护控件识别难 面对动态加载或复杂的UI组件时，识别和操作控件具有挑战性 易出现识别错误导致测试结果不准确AI 新机遇 从人机协同到 AI 自主人类与AI协同的三种模式包括

2、人工为主模式、副驾驶模式（Copilot）和AI 自主模式，相较于前两种模式，AI 自主模式更为高效，或将成为未来人机协同的主要模式。AI 自主模式Copilot模式人工为主模式人类结束工作人类结束工作AI 自主结束工作其中某几个任务AI提供信息或建议AI完成初稿，人工修改调整AI全权代理：任务拆解，工具选择等人类AI人类AI人类AI人设定目标人设定目标人设定目标Agent能够感知环境、做出决策并采取行动以实现特定目标的计算系统。Agent工具使用记忆任务规划短记忆长期记忆API调动代码执行工具库思维链自我思考目标拆解当前对话上下文持久化存储的知识用户请求AI 新机遇 Agent 介绍Mult

3、i Agent协同处理更复杂的任务，中心化结构举例模拟人类工作流程：可以模拟人类的分工协作方式，将各种任务的标准操作流程定义为AI Agent的工作规范。管理者 AgentAgentAgentAgent用户请求AI 新机遇 Multi Agent React 设计模式举例React 解释案例：点外卖问题：我想点一份午餐外卖，请帮我找到附近评分高且送达时间在30分钟内的餐厅选择。思考 1：需要搜索附近餐厅并筛选高评分、快速配送的选项。操作 1：搜索附近餐厅外卖观察 1：找到五家餐厅：味之源中餐厅、迅捷披萨、健康沙拉吧、墨西哥卷饼屋和日式料理店。思考 2：需查看评分和配送时间。操作 2：查询餐厅评

4、分和送达时间观察 2：味之源(4.6星)：35-45分钟，健康沙拉吧(4.7星)：20-30分钟，其他评分较低思考 3：只有健康沙拉吧满足条件，查看菜单和评价。操作 3：搜索健康沙拉吧菜单和评价观察 3：提供多种沙拉，午餐套餐58元含主沙拉、小食和饮料。最近评价多为5星，称赞食材新鲜、送达准时。回答：推荐健康沙拉吧，评分4.7/5星，送达时间20-30分钟。他们提供58元午餐套餐，顾客评价积极，特别肯定食材新鲜度和送达时效。思考 智能体推理拆解任务，确定解决问题所需的信息和步骤；行动 智能体采取相应的措施或执行特定的任务，调用工具执行具体操作；观察 智能体观察行动结果是否有效，是否接近了问题的

5、答案。循环流程，直到任务结束或达到最大循环次数React 优势和局限性分析一、优势：灵活性：基于实时观察动态调整决策路径，适应意外情况；知识获取：通过工具迭代获取外部信息，解决复杂问题；透明度：思考步骤记录推理过程，便于调试二、局限性：循环风险：可能陷入无效步骤循环，难以自主跳出；资源消耗：多轮LLM调用增加延迟和成本；AI 新机遇 Multi Agent Plan-and-Execute 设计模式举例Plan-and-Execute 案例：点外卖问题：我想点一份午餐外卖，请帮我找到附近评分高且送达时间在30分钟内的餐厅选择。一、Plan阶段，智能体首先制定完整计划：搜索附近提供外卖服务的餐厅

6、；筛选出评分4.5星以上的高评价餐厅；查看符合条件餐厅的菜单和用户评价；根据综合信息选出最佳推荐二、Execute阶段：搜索附近餐厅；筛选高评分餐厅；检查送达时间；查看菜单和评价三、Replan阶段（检测到计划无法继续执行，智能体重新规划）：放宽条件，考虑评分4.0以上且送达时间在35分钟内的餐厅 重新筛选并评估可行选项四、继续执行：放宽条件搜索，最终推荐完成任务图：LangGraph 官方Plan-and-Execute 优势和局限性分析一、优势：明确区分规划与执行阶段，先全局规划再逐步执行，提供清晰路线图指导全过程，避免陷入局部最优；Replan机制允许在计划遇阻时动态调整，提高任务完成率