杨青霖-Meta-Agent架构与业务测试落地实践.pdf

1、Meta-Agent架构与业务测试落地实践杨青霖|百度杨青霖百度资深测试开发工程师主要负责语音终端和视觉算法的质量保证体系建设及工程效能提升。拥有将Python应用于复杂技术领域的丰富实战经验。著有Python气象应用编程，人民邮电出版社异步社区2023年度影响力作者。现在负责语音业务测试工具研发，带领团队探索AI在测试领域的应用。每天与各种语音测试场景打交道。目 录CONTENTSI.背景与演进方向II.构建非阻塞核心III.工程实践与落地IV.总结与展望测试数字员工-阿童木背景与演进方向PART 01智能体的现状与困境理想的AI测试助手应该是什么样的？语音测试提测准入准入功能测试声学测试稳

2、定性测试尴尬的等待执行中.执行一下稳定性测试好的，正在执行中。你还在吗？我们满怀期望地引入Agent，却发现 当它处理一个耗时任务时，整个对话就被阻塞了。三种范式演进工具箱模式流水线模式项目经理模式工具A工具B工具C体验割裂，上下文不互通像一堆独立的计算器AgentAgent强大但僵化，用户必须等待响应像一条流水线Step1Step2Agent从“串行指令”到“并行委托”像一个项目经理Worker1Worker2Worker3项目经理模式企业IM的特点（机器人、服务号）以企业IM入口为例 单线程：同一个消息发送对象，通常只能开一个对话窗口；无明显消息边界：消息之间难以找到明确的对话分界线。项目

3、经理模式Agent从“串行指令”到“并行委托”像一个项目经理Worker1Worker2Worker3需要解决的问题 在单线程对话下执行多个任务；长耗时任务且不阻塞对话流；主动通知任务结果；符合用户直觉的连续消息流。构建非阻塞核心PART 02方案单线程对话下执行多个任务，且长耗时任务不阻塞对话流 用户的任何消息应该尽快响应；长耗时任务应该返回一个handler，而不是等待完成；允许用户动态变更执行流程；能从大量工具中选取需要的工具并规划流程；主动通知任务结果，且消息流符合用户直觉 长耗时任务完成后，应该能触发下一步操作；agent应该知晓以自己身份所发出的任何一条消息；在无边界的对话流中，没

4、有明显的上下文中断感；事件驱动ReAct 调度器异步操作工具粗选策略架构总览调度器分层记忆系统工具粗选策略数据库外部工具API其他基础设施IM回调API统一适配不同入口消息异步、事件驱动的ReAct调度器上下文系统与工具粗选运行支持调度器事件源定时器事件任务状态变更LLM分析事件并决策用户消息回复用户调用工具工具执行结果工具类型同步工具异步工具能立即获得结果的工具直接返回结果需要消耗长时间运行的工具返回任务handler任务handler会被框架层持久化到数据库并轮询状态更新ReAct 架构工具粗选记忆并非越多越好Token限制信息噪音成本有效上下文上下文窗口有限噪音与干扰成本与效率LLM有固

5、定的Token上下文长度，Agent不能无限提供所有记忆，否则会超出限制导致截断或拒答。不相关或陈旧的信息会成为噪音，降低LLM判断的准确性。不加筛选地提供大量上下文，反而可能误导AI。更长的上下文意味着更多的调用成本和时间延迟。每次对话塞入大段历史会显著增加API费用，并拖慢响应。三层记忆体系短期记忆包括用户提问、助手回答、工具调用结果和系统提示等。超限就触发流转算法把最早部分摘要后移入中期记忆。为什么要设计遗忘策略？只有进没有出的记忆可能是个灾难。被动式记忆主动式记忆 对话内容 工具调用结果中期记忆 近期对话摘要 RAG召回摘要提取模拟记忆曲线模拟：越新的记忆权重越高 常想起的回忆会更牢

6、太久以前的记忆会遗忘存入RAG数据库中期记忆遗忘策略长期记忆主动更新 用户偏好 用户画像海量工具怎么办终端控制相关工具声学相关工具。100+未来还可能继续增加可供调用的工具全量作为LLM的调用参数？任务准确率降低 上下文截断 成本失控选取子集，怎么选？按照集合让用户手动开启关闭？根据用户消息RAG？工具粗选的策略 槽位机制LRUTOPAI推荐最近使用高频使用智能分析假设用户倾向重复使用近期用过的工具。避免模型出现认知失调。利用长期统计偏好，确保常用工具不被遗漏。基于当前对话上下文动态发现需要的工具。工具1最终传递给大模型的工具列表工具2工具3工具4工具5