钱忱-大模型驱动的多智能体协同初探.pdf

《钱忱-大模型驱动的多智能体协同初探.pdf》由会员分享，可在线阅读，更多相关《钱忱-大模型驱动的多智能体协同初探.pdf（39页珍藏版）》请在三个皮匠报告上搜索。

1、大模型驱动的多智能体协同初探钱忱 清华大学演讲嘉宾钱忱清华大学 博士后清华大学软件学院博士，现于清华大学自然语言处理实验室（THUNLP）担任博士后，清华大学水木学者，主要研究方向为预训练模型、自主智能体、群体智能；合作导师为孙茂松和刘知远教授，曾在ACL、SIGIR、ICLR、AAAI、CIKM等人工智能、信息管理、软件工程等相关的国际学术会议或期刊上以第一作者身份发表论文数篇。在群体智能方面，主持发布了大语言模型驱动的群体协作框架ChatDev、群体共学习范式Co-Learning、群体协同网络MacNet，面向任务完成和社会模拟的多智能体平台AgentVerse等。目 录CONTENTS

2、1.从大模型走向自主智能体2.大模型多智能体系统3.多智能体协同及演化4.智能体协同的缩放法则5.总结与展望从大模型走向自主智能体PART 01大模型驱动的自主智能体学习环境静态训练数据有限监督信号直接大模型为智能“灵魂”学习环境动态训练数据无限监督信号间接智能体为智能“载体”大模型驱动智能体智能体反馈大模型 基础大模型作为智能应用技术的内核，必须以自主智能体作为载体与动态环境进行交互，才能充分胜任动态复杂的智能应用，因此亟需发展大模型驱动的自主智能体技术人工智能将进入智能体时代2023 年 11 月 6 日，OpenAI在第一届开发者大会上正式提出构建自主智能体及相关生态的战略目标自主智能体

3、是OpenAI核心战略之一自主智能体相关研究在大模型带动下迅速成为人工智能研究必争之地，2023年自主智能体研究论文数量呈井喷趋势自主智能体相关研究爆发式增长现处于争夺自主智能体技术高地的重要战略窗口期目前自主智能体技术呈现百花齐放、多面竞争态势，我国与人工智能领域国际领先研发机构（OpenAI、微软、谷歌、Meta、斯坦福大学等）处于同一起跑线2年增长约100倍人类智能与人工智能 人工智能很可能即将走跟人类智能一样的发展路径人类智能人工智能脑容量小脑容量大工具使用群体协作小模型大模型智能体群体智能XAgent：大模型驱动的自主智能体框架 XAgent通过双循环机制协调决策制定和任务执行过程：

4、外循环规划、内循环执行 外循环处理任务的高级管理和分配，内循环专注每个子任务的低级执行和优化大模型多智能体系统PART 02多智能体系统的两种基本类型斯坦福SmallVille小镇：基于层次规划的智能体社会小镇，实现人类社群行为的可信模拟清华ChatDev数字团队：基于语言交互的智能体数字公司，实现群体协作式软件开发社会模拟型任务完成型Chen Qian,et al.ChatDev:Communicative Agents for Software Development.In ACL-2024.Park J S,et al.Generative agents:Interactive simu

5、lacra of human behavior.In UIST-2023.多智能体自主交互：任务解决新范式 群体协作实现多方优势互补、配合无间，提高解决问题的准确率 语言交互搭建沟通桥梁、缓解信息茧房，通过任务分工和协作执行处理复杂任务主智能体群体协作?!?-解决案复杂任务语模型多智能体系统核心研究框架 顺序型：各子组织间依次行动 互斥型：各子组织间选择性行动 并发型：各子组织间并行行动 无目标导向型：群体自由规划及行为执行（e.g.,社会模拟）目标导向型：制定群体特定目标以协同进行任务完成（e.g.,软件开发）行为关系：合作关系、竞争关系 组织行为：激励行为、团队凝聚力、劳动力多元化、资源竞

6、争、同龄人压力、群体懈怠、评价焦虑、情绪感染等任务目标组织管理社会组织行为路由 联盟结构：独立结构、层次化结构、中心化结构、全连接结构 组织规模：小规模、中规模、大规模多智能体协同及演化PART 03ChatDev 交互链进行编排 通过角色扮演交流实现智能体间的方案提议和决策研讨过程 交流链将复杂任务分解为由原子任务组成的“方案生产线”Chen Qian,et al.ChatDev:Communicative Agents for Software Development.In ACL-2024.CEOCPOCEOCTOCTOProgrammerProgrammerReviewerProgra

7、mmerTesterCTOProgrammermodalitylanguagecodecodecodespectaskDesignerProgrammercodeCEOCPOmanualCTOProgrammerCEOCPODocumentingTestingCTOProgrammerDesignerCodingCEOCPOCTODesigninginstructorassistantWaterfall ModelPhase-LevelChat ChainChat-LevelProgrammerReviewerTesterChatDev 交互机制Chen Qian,et al.ChatDev:

8、Communicative Agents for Software Development.In ACL-2024.通过角色化、记忆流、自反思机制，实现自上下文感知的主交互You are a CEO for decision-makingYou are a CTO for system designLanguage?Too Hard!Java,ok?Python!The Process of CommunicationDialogue.Conclusion？DialoguePython!PseudoQuestionerChatDev 交互模式Chen Qian,et al.ChatDev:Co

9、mmunicative Agents for Software Development.In ACL-2024.通过交互除幻机制（Communicative Dehallucination）缓解编码幻觉（Coding Hallucination）TesterProgrammerTraceback:File“main.py,line 12 self.num=nNameError:name n is not definedExplain and Suggest:NameError is Add parameter n in initProgrammerTesterSuggestion:Add pa

10、rameter n in initclass Game:def init(self,n):self.num=n .TesterTest Pass!多智能体协同实现“降本增效”软件制作平均时间小于7.0分钟且制作成本约$0.3美元Chen Qian,et al.ChatDev:Communicative Agents for Software Development.In ACL-2024.CTC：从单队伍到多队伍的协作编排 为了超越单一团队执行的偏差，多队伍能够有效地从多方获取见解、促进跨团队间的交互，进而产出更优质的内容Zhuoyun Du,Chen Qian,et al.Multi-Age

11、nt Software Development through Cross-Team Collaboration.In arXiv:2406.08979跨任务间的静态流程限制了推理效率modalitylanguagecodecodecodespeccodemodalitylanguagecodecodecodespeccode俄罗斯方块任务工作流解决方案经验迁移五子棋 本质原因：智能体缺乏跨任务的过往经验Qian C,Dang Y,et al.Experiential co-learning of software-developing agents.In ACL-2024.Co-Learni

12、ng：智能体共同经验习得 核心思路：跨任务经验迁移 共同实践：训练任务上进行“彩排”，形成过往执行轨迹 共同记忆：对执行轨迹进行“捷径”抽取和记忆 共同推理：测试任务上利用捷径记忆实现经验化推理Qian C,Dang Y,et al.Experiential co-learning of software-developing agents.In ACL-2024.捷径作为经验 在经验化的任务执行过程中，智能体随着经验的积累实现推理步骤的显著减少，即以更少的步骤实现了更高质量的成品，实现群体推理过程的“降本增效”Co-Learning：多智能体经验化共同学习框架Qian C,Dang Y,et

13、 al.Experiential co-learning of software-developing agents.In ACL-2024.随任务批次的陆续执行，在Co-Learning积累静态经验的基础上，进行相继式和积累式两类经验动态编辑Co-Evolving：经验的迭代优化Qian C,Li J,et al.Iterative Experience Refinement of Software-Developing Agents.In arXiv:2405.04219捷径经验、相继式和积累式经验积累任务执行过程的协同效率随经验的动态积累而逐步提升 大模型群体协作的通用流程，包含“智能体

14、招募”、“协同决策”、“动作执行”与“检验评估”四个阶段AgentVerse：通用多智能体平台Weize Chen,Yusheng Su,et al.AgentVerse:Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors.In ICLR-2024.智能体协同的缩放法则PART 04如何组织构建高可拓展的群体协同？核心挑战在于设计一个通用的组织结构，实施合理的路由策略，并建立有效的记忆管理，以实现高效和可扩展的群体协同Qian C,Xie Z,Wang Y,et al.Scaling Large-Lan

15、guage-Model-based Multi-Agent Collaboration.In arXiv:2406.07155MacNet：多智能体协作网 在有向无环图的拓扑之上部署智能体（节点上部署执行者、边上部署发令者），形成多智能体协作网（Multi-Agent Collaboration Networks，MacNet）GRAPHTREECHAINStarTreeMeshLayeredRandomChain有向无环的拓扑结构多智能体协作网智能体部署Qian C,Xie Z,Wang Y,et al.Scaling Large-Language-Model-based Multi-Age

16、nt Collaboration.In arXiv:2406.07155MacNet：多智能体协作网 通过拓扑排序进行多智能体协作网的遍历，“展开”成智能体交互的路由次序 网络上仅传播交互后的解决方案（而非全程对话），构筑可拓展的记忆管理机制 解决方案可从逻辑推理，跨到软件代码、连贯故事、法律文书等异构情景多智能体协作网基于拓扑排序的路由策略拓扑展开Qian C,Xie Z,Wang Y,et al.Scaling Large-Language-Model-based Multi-Agent Collaboration.In arXiv:2406.07155Interaction Topolo

17、gicalOrderingData FlowMacNet：多智能体协作网 支持大规模协同：可支持多种异构拓扑，甚至承载上千个智能体协同工作 小世界协同现象：越接近小世界网络属性的拓扑，其综合性能更优越 协同缩放法则：性能大致遵循Sigmoid形趋势，相较神经缩放法则更“早”被观测Qian C,Xie Z,Wang Y,et al.Scaling Large-Language-Model-based Multi-Agent Collaboration.In arXiv:2406.07155总结与展望PART 05 进阶智能体的愿景是从独立的实体进化为可协作和可演化的系统，通过集体智慧实现可涌现的效率和结果大模型智能体发展趋势大模型自主智能体多智能体协同多智能体演化可行方向拥抱“数字孪生，万物智联”的未来世界设备互联，生活便捷物体间的沟通桥梁，使每一件设备灵活互联信息高速，全球连接全球信息高速公路，将每一位网民紧密相连数字孪生，万物智联交织万物的网络纽带，绘制数字孪生的未来蓝图Internet of ThingsInternetInternet of Agents系统https:/