张宁豫_大模型智能体的自主规划学习_watermark.pdf

1、大模型智能体的自主规划学习张宁豫浙江大学 代表案例：AutoGPT，GPT-Engineer，Voyager,RT-2，什么是大模型驱动的自主智能体 定义：由大型语言模型驱动的自治代理，它们可以遵循语言指令并在真实世界或模拟环境中执行各种复杂任务背景1 A Survey on Large Language Model based Autonomous Agents大模型驱动自主智能体的飞速发展背景1 Artificial Intelligence:A Modern Approach2 Multiagent Reinforcement Learning:Rollout and Policy It

2、eration大模型驱动的自主智能体本质 智能体（Agent）的概念自人工智能领域诞生之日就存在，并同时受到面向对象系统、人机交互、分布式学习、强化学习等领域关注图引用自1图引用自2背景1 https:/lilianweng.github.io/posts/2023-06-23-agent/2 Reasoning with Language Model Prompting:A Survey大模型驱动的自主智能体本质图引用自1图引用自2 智能体（Agent）的概念自人工智能领域诞生之日就存在，并同时受到面向对象系统、人机交互、分布式学习、强化学习等领域关注 大模型驱动的自主智能体有什么区别？本质

3、的区别在于语言的运用 人工智能代理（Agent）将语言作为思维和沟通的工具，这是人类独有的能力背景大模型驱动的自主智能体关键技术背景1 Graph of Thoughts:Solving Elaborate Problems with Large Language Models大模型驱动的自主智能体的任务规划大模型驱动的自主智能体通过任务解耦和思维链（图）的方式进行任务规划智能体自主规划大模型驱动的自主智能体的任务规划智能体自主规划1 Voyager:An Open-Ended Embodied Agent with Large Language Models9大模型驱动的自主智能体的任务规划

4、智能体自主规划智能体自主规划 挑战二：大模型智能体如何根据已有的推理路径自主校准并优化规划过程Towards A Unified View of Answer Calibration for Multi-Step Reasoning(2023)大模型智能体的任务自主规划关键挑战 挑战一：大模型智能体如何根据任务的内容自主规划并选择和使用外部工具Making Language Models Better Tool Learners with Execution Feedback(2023)开源工具：Agents:An Open-source Framework for Autonomous La

5、nguage Agents(2023)智能体自主规划Project:https:/zjunlp.github.io/project/TRICE/Code:https:/ Making Language Models Better Tool Learners with Execution Feedback大模型驱动的自主智能体的工具使用智能体自主规划智能体使用工具的步骤:1.智能体什么时候候用？用什么工具?2.智能体需要提供工具哪些信息?3.智能体如何根据工具的结果做出反馈?大模型驱动的自主智能体通过外部工具和环境反馈实现自主规划完成任务智能体自主规划1 Making Language Mode

6、ls Better Tool Learners with Execution Feedback先基于指令微调学习如何使用工具，后基于工具执行反馈进一步习得何时使用工具的自主规划能力智能体自主规划1 Making Language Models Better Tool Learners with Execution Feedback智能体自主规划1 Making Language Models Better Tool Learners with Execution Feedback智能体自主规划1 Making Language Models Better Tool Learners with