智能体自主演化学习-丁效.pdf

1、智能体自主演化学习丁丁 效效哈工大社会计算与信息检索研究中心哈工大社会计算与信息检索研究中心2024年年6月月15日日YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024智能体 智能体的概念来源于哲学，其根源可以追溯到亚里士多德和休谟等思想家：智能体是拥有欲望、信念、意图和采取行动的能力的实体（Zelta et al.,1995）这个想法迁移到计算机科学，旨在使计算机能够理解用户的兴趣，并自主地代表用户执行操作。随着AI的发展，“智能体”这个词在AI 研究中找到了它的位置，用来描述展示智能行为并具有自主性、反应性、主动性和社

2、交能力的实体。(Agha et al.,1986)“如果他们找到一只能够回答所有问题的鹦鹉，我会毫不犹豫地宣称它是一个聪明的生物。”-德尼狄德罗Zelta et al.,1995 The Stanford Encyclopedia of Philosophy.Agha et al.,1986 Actors:a Model of Concurrent Computation in Distributed SystemsYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024智能体 以往的智能体研究专注于设计算法或者是训练策略来增强

3、模型运算等方面的能力，例如 AlphaGo 下围棋等。忽视了开发模型内在的一些能力，例如知识记忆，高效交互等实际上，增强模型的内在能力是智能体进一步发展的关键因素，该领域需要一个强大的基础模型，该模型具有知识记忆，高效交互各种关键属性，作为智能体系统的起点。Sutton et al.,2018 Reinforcement learning:An introductionYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024大语言模型作为智能体（LLMs-as-Agent）大语言模型的出现为智能体的发展带来了新的希望，让大家开始

4、憧憬通用的人工智能。LLMs 在知识获取、指令理解、泛化、规划和推理方面展示了强大的能力，同时展示了与人类有效的自然语言交互。使它们非常适合构建智能体Xi et al.,2023 The Rise and Potential of Large Language Model Based Agents:A SurveyYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024基于大语言模型辩论的多智能体协作分析一实现多智能体协作需解答的问题二多智能体间的不一致性三智能体如何实现自主演化学习YSSNLP2024YSSNLP2024YSS

5、NLP2024 YSSNLP2024YSSNLP2024YSSNLP2024 由于强大的通用能力，LLMs被用在大量下游任务上，并且多个 LLMs 被引入来解决更复杂的任务 模型之间相互协作，每个模型关注不同的子任务或者是一个任务的不同方面(Schick et al.,2022;Park et al.,2023)虽然模型有强大的通用能力，但是现在的 LLMs 也存在很多问题：不一致性，幻觉等 单个模型内：self-consistency(Wang et al.,2022b),logical consistency(Jung et al.,2022)多个模型间：inter-consistency

6、多智能体协作解决复杂问题成为研究趋势智能体间“步调”不一致的话，他们能协作解决同一个任务吗？YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多智能体协作一个和尚抬水喝两个和尚挑水喝三个和尚没水喝 人类协作YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多智能体协作一个智能体执行推理两个智能体执行推理三个智能体执行推理 多智能体协作下雨才是道路湿滑的更常见原因多个智能体有协作精神吗？它们能否高效地实现同一个目标？YSSNLP2024YSSNLP202