钱忱 - YSSNLP-大模型驱动的群体智能.pdf

1、云南 昆明2024年06月15日大模型驱动的群体智能钱 忱清华大学 自然语言处理实验室YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024包括美国三院院士 Li Fei-Fei、美国文理学院院士ChristopherManning 和 Dan Jurafsky 在内的斯坦福大学100多位学者联名发表长达160页的观点文章，提出超大规模预训练模型将是实现通用人工智能的“基础模型”图片生成模型 DALLE代码生成模型 CoPilot智能问答模型 ChatGPT通用控制模型 Gato基础模型通过“预训练-微调”来支持下游任务195

2、0s-1990s：符号学习1990s-2000s：统计学习2010-2017：深度学习2018-至今：大规模预训练模型超 大 规 模 预 训 练 模 型GPT-3 可以通过学习少量样例完成十余种文本生成任务，入选2021年 MIT科技评论10大突破性技术人工智能进入大模型时代YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024大模型的局限性实时知识缺乏受限于训练语料，大模型知识有时间局限性，难以获取实时知识协作意识薄弱大模型缺少协作意识，彼此之久间无法协同配合，共同完成复杂任务专业技能欠缺大模型只能处理语言任务，大模型不擅长

3、处理涉及专业领域的复杂任务大模型无法进行多步决策，面对复杂任务无法规划复杂逻辑，编排复杂流程来解决自主能力不足Model输入：计算 12321/234320.002360.526Model不使用工具使用工具 大模型虽然展示出了前所未有的通用性，但是在应用于实际生活中，仍存在着实时知识缺乏、专业技能欠缺、自主能力不足以及协作意识薄弱等局限性YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024大模型驱动的自主智能体学习环境静态训练数据有限监督信号直接大模型为智能“灵魂”学习环境动态训练数据无限监督信号间接智能体为智能“载体”大模

4、型驱动智能体智能体反馈大模型 基础大模型作为智能应用技术的内核，必须以自主智能体作为载体与动态环境进行交互，才能充分胜任动态复杂的智能应用，因此亟需发展大模型驱动的自主智能体技术YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024人类智能与人工智能 人工智能很可能即将走跟人类智能一样的发展路径人类智能人工智能脑容量小脑容量大工具使用群体协作小模型大模型智能体群体智能发展阶段YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多智能体系统的两种基本类型斯坦福

5、SmallVille小镇：基于层次规划的智能体社会小镇，实现人类社群行为的可信模拟清华ChatDev数字团队：基于语言交互的智能体数字公司，实现群体协作式软件开发社会模拟型任务完成型Park J S,et al.Generative agents:Interactive simulacra of human behavior.In UIST-2023.Chen Qian,et al.ChatDev:Communicative Agents for Software Development.In ACL-2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024

6、YSSNLP2024YSSNLP2024ChatDev 交互链进行编排 通过角色扮演交流实现智能体间的方案提议和决策研讨过程 交流链将复杂任务分解为由原子任务组成的“方案生产线”Chen Qian,et al.ChatDev:Communicative Agents for Software Development.In ACL-2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024丰富的交互内容，持续的方案优化 自主进行多维度需求分析与设计、软件评审与测试、软件制作平均时间小于7.0分钟且制作成本约$0.3美元Ch