3-端到端智能Agent在淘天的落地实践-李腾-0710.pdf

《3-端到端智能Agent在淘天的落地实践-李腾-0710.pdf》由会员分享，可在线阅读，更多相关《3-端到端智能Agent在淘天的落地实践-李腾-0710.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、端到端智能Agent在淘天的落地实践李 腾背景介绍技术实现应用场景未来展望2134Part 01 背景介绍传统UI自动化的困境传统端到端自动化技术通过脚本或规则驱动业务流程，但在实际应用中面临三大核心问题：1.开发效率低下 需大量人工编写定制化脚本 跨平台适配成本高 代码复用率低2.维护负担重 UI变更需频繁更新脚本 业务逻辑调整导致脚本失效3.验证能力受限 复杂校验点难以实现 精准匹配要求过高AI驱动的UI自动化新机遇1.智能化识别与交互 AI视觉理解替代固定脚本 自适应UI变化2.自动化测试升级 智能生成测试用例 动态调整验证策略3.持续优化迭代 数据驱动的能力进化 场景化解决方案Part

2、 02 技术实现让我们先看看效果基于手工用例的快速生成右侧视频播放基于自然语言的快速生成右侧视频播放1.0版本：基于大模型的脚本生成引擎1.智能用例转化：通过自然语言处理技术，AI能够理解并转换人类编写的测试用例，将其转化为机器可读的格式。2.自动化场景搭建：基于解析后的用例，AI自动生成测试所需的数据与环境配置，减少手动准备工作。3.动态场景识别与执行：AI根据用例指令，实时识别界面元素，智能执行测试动作，提高执行效率。4.智能结果校验：AI自动对比预期结果与实际输出，快速定位差异，加速验证过程。用例改写1.基于Xmind格式手工用例快速生成自动化指令2.利用RAG能力提高整体的改写成功率3

3、.UI自动化编写左移，提高测试效率元素定位DOM树页面截图LLM点击芭芭农场元素定位DOM树优点：1.识别准确率高2.识别耗时短3.能识别到未在当前页面的元素缺点：1.部分元素不可见，比如纯商品卡2.由于技术栈问题部分节点不可见元素定位模型理解优点：1.页面元素全2.通用性强缺点：1.相对比较耗时2.部分坐标识别不准确指令执行目前通过大模型的推理能力结合页面的结构化解析输入，能够支持点击、输入、滑动、长按、跳转、返回、等待元素出现/消失等自然语言指令的理解和代码片段生成校验能力1.多模态的校验能力：针对文本和图片使用大模型进行断言2.多步级联校验：校验支持针对多步数据进行校验，比如加购的场景，

4、可以根据加购前商品详情的数据和加购后购物车里的数据进行对比，确认加购的正确性3.通用的异步校验能力：针对每张截图异步进行后台的通用校验，校验局部的展示异常，比如toast、文本展示不全、卡片展示错位等知识库能力知识库类型核心作用用例知识库1.存储标准用例和基础用例2.提供场景化测试路径参考3.AI 复用和组合改写测试用例账号知识库1.管理不同权限、等级、状态账号2.AI 根据前置条件召回可用的测试账号商品知识库1.维护商品全属性信息（SKU/价格/库存）2.支持多品类组合测试3.AI 根据前置条件召回可用的商品业务知识库1.存储业务常识和规则2.AI 熟悉业务素材知识库1.管理素材（图片/视频

5、）2.AI 根据前置条件召回符合条件的素材同义知识库1.建立关键词同义映射表2.存储多方言表述方式3.维护行业术语变体库4.AI 根据同义知识理解测试用例2.0版本：探索性路径规划引擎关键升级1.自然语言指令解析：失败场景 支付按钮被新人礼包弹窗遮挡尝试1 关闭弹窗 失败（无关闭按钮）尝试2 滑动查找底部悬浮按钮 成功2.运行时路径反思：当支付按钮被活动弹窗遮挡时，系统自动尝试3.混合执行模式：将高频稳定路径（如登录流程，搜索商品）固化到1.0脚本，异常分支触发2.0动态规划2.0版本：探索性路径规划引擎12342.0版本：探索性路径规划引擎1.定义里context的概念，使其实现了类似man

6、us架构里的memory能力2.整个2.0版本实现了一个工程化manus版本存在的问题：1.纯工程化的实现整体的扩展性偏差2.后续各种MCP服务调度不友好3.实现了很多比较冗余的功能3.0版本：类Manus架构的自主决策引擎关键升级 整体架构由Workflow模式迁移到类Manus架构 2.0的路径规划能力全面迁移到3.0，支持多Agent模式调度 工具服务支持MCP协议Part 03 应用场景应用场景已接入场景：1.春晚主互动游戏玩法2.芭芭农场任务玩法3.淘宝首猜信息流4