teleai-姚易彤-fc-v2.pdf

1、演讲人：姚易彤 中国电信人工智能研究院-语义算法工程师LLM基础Function Call能力强化：从数据构建到RLHF的优化闭环引言：为什么Function Call是LLM落地的关键？什么是什么是Function Function CallCall：LLM通过结构化指令结构化指令调用外部函数外部函数/API/API，将自然语言意图转为可可执行指令执行指令的能力突破文本生成局限，从“对话工具对话工具”升级为“任务执任务执行引擎行引擎”定义与价值定义与价值核心价值核心价值：突破模型知识边界，解决LLM“知识时效性知识时效性低，专业低，专业领域能力领域能力弱弱”重构人机交互体验，通过任务自动化执

2、行自动化执行实现动态动态交交互互与实时实时响应响应1 Kim,S.,Moon,S.,Tabrizi,R.,Lee,N.,Mahoney,M.W.,Keutzer,K.,&Gholami,A.(2023).An LLM Compiler for Parallel Function Calling.ArXiv,abs/2312.04511.引言：为什么Function Call是LLM落地的关键？Function Call Function Call 主流主流应用场景应用场景Function Function Call Call 常见问题常见问题错误错误调用参数、幻觉生成调用参数、幻觉生成APIA

3、PI、依赖关系混乱、依赖关系混乱场景与痛点场景与痛点Function Call常见的幻觉问题1 Xu,H.,Zhu,S.,Wang,Z.,Zheng,H.,Ma,D.,Cao,R.,Fan,S.,Chen,L.,&Yu,K.(2024).Reducing Tool Hallucination via Reliability Alignment.ArXiv,abs/2412.04141.核心算法优化方案数据01核心算法优化方案训练优化02Agent应用方案03目 录CONTENTS01.核心算法优化方案数据一、核心算法优化方案数据调用调用模型模型用户输入用户输入 提供给LLM的工具信息模型调用时

4、增加tools字段注册工具信息将输出解析为将输出解析为contentcontent和和tool_callstool_calls两个两个字段字段模型输出模型输出模型输出调用工具信息及参数用户输入的问题1.1.拆解当前场景大模型拆解当前场景大模型Function CallFunction Call数据通用形式数据通用形式一、核心算法优化方案数据调用调用模型模型用户输入用户输入将输出解析为将输出解析为contentcontent和和tool_callstool_calls两个两个字段字段模型输出模型输出1.1.拆解当前场景大模型拆解当前场景大模型Function CallFunction Call数

5、据通用形式数据通用形式你是TeleChat，中文名是中国电信星辰语义大模型，你是由中国电信人工智能研究院研发的人工智能助手。#可用工具你可以调用标签中包含的一个或多个工具来辅助你回答问题,以下是可用工具详情：type:function,function:name:get_current_temperature,description:Get current temperature at a location.,parameters:type:object,properties:location:type:string,description:The location to get the te

6、mperature for,in the format City,State,Country.,required:location#调用方法你需要遵循工具的要求，使用json格式返回工具名称及参数，并用包含。下方是一个调用模板：name:,arguments:现在北京的天气怎么样？为了获取当前天气，我需要调用get_current_temperature这个工具name:get_current_temperature,arguments:location:北京Tool call格式要求进一步解析一、核心算法优化方案数据再次再次调用模型调用模型1.1.拆解当前场景大模型拆解当前场景大模型Func