王昊奋-ALM关键技术与应用范式.pdf

《王昊奋-ALM关键技术与应用范式.pdf》由会员分享，可在线阅读，更多相关《王昊奋-ALM关键技术与应用范式.pdf（104页珍藏版）》请在三个皮匠报告上搜索。

1、ALM关键技术与应用范式王昊奋 同济大学演讲嘉宾王昊奋OpenKG发起人/CCF知识图谱SIG主席同济大学百人计划特聘研究员、OpenKG发起人之一，业界知名知识图谱与自然语言处理专家，腾讯云最具价值专家TVP，CCF术语工委副主任、知识图谱SIG主席、上海秘书长，中国中文信息学会理事，畅销书知识图谱方法、实践与应用的作者，曾作为2家AI独角兽企业的CTO；具有超过16年的知识图谱研发和技术管理经验。受邀在世界人工智能大会等诸多国际与国内智能峰会上担任讲者，并在自然语言处理国内顶级会议NLPCC多次担任知识图谱方向主席，长期作为ISWC,WWW,AAAI等人工智能国际顶级会议程序委员会委员。目

2、 录CONTENTS1.LLM的崛起2.ALM关键技术3.应用落地范式4.未来展望LLM的崛起PART 01大语言模型掀起迈向AGI的浪潮ChatGPT是由美国人工智能公司OpenAI在2022年11月推出的生成式对话预训练大语言模型。它以对话的方式进行交互。对话形式使得其能够回答后续问题，承认错误，质疑不正确的前提，并拒绝不适当的请求2016年的Chatbot VS ChatGPT下的Chatbot大语言模型掀起迈向AGI的浪潮NLP任务：文本分类信息抽取文本摘要智能问答阅读理解机器翻译文本生成语法纠正.应用场景：信息分类文本结构化摘要说明对话问答复杂文本理解多种语言翻译内容创作信息纠错.大

3、语言模型掀起迈向AGI的浪潮A Survey of Large Language Models,2023开源基础模型+精调促进生态繁荣大语言模型掀起迈向AGI的浪潮预训练语言模型的跃进式发展AE语言模型：能够AR语言模型：只能获取单向信息，不能同时获取双向信息，代表为 GPT系列获取双向信息进行预测，代表为 BERT系列混合模型：Encoder-Decoder架构，Encoder采取自编码语言模型，Decoder采取自回归语言模型，代表为T5和BART等BERT 和 GPT 都是文字的模型，都在”猜概率”大语言模型作为基础提供接口 用提示表达基础模型/大模型:指通过在大规模的数据上训练后能适应

4、 一系列下游任务的的模型Zero Shot PromptingFew Shot Prompting In Context LearningInstruction来源：Finetuned Language Models Are Zero-Shot Learners来源：Language Models are General-Purpose Interfaces提示工程 什么是提示提示工程师年薪达到$300K大语言模型的“特征工程”围绕提示展开：提示工程大语言模型的“特征工程”围绕提示展开：提示工程示例大语言模型的“特征工程”围绕提示展开：提示工程示例大语言模型的“特征工程”围绕提示展开：提示工程

5、示例大语言模型的“特征工程”围绕提示展开：提示工程示例Zero-Shot Chain-of-ThoughtSelf-Consistency经常被问到的问题：ChatGPT 为什么不能查询天气？GPT=Giant Parrot Talking?（统计学习）大语言模型存在的不足存在“幻觉”，容易一本正经胡说八道提示直接决定回复质量，经常容易“说正确的废话”无法理解与更新个性化知识，如无法针对个性需求提供信息无法处理动态、实时问题，如股票价格、天气变化等知识无法更新，不能提供最新信息不擅长数学计算和逻辑推理等正确答案：555458块实时问题大语言模型落地的限制增强语言大模型ALM的必要性和可能方向来

6、源:Augmented Language Models:a Survey（Yann Lecun et al.）针对当前LLM的不足，研究者们提出了一些改进措施，例如使LM利用外部工具，用LM的权重中不包含的重要缺失信息来增强上下文理解，形成更强大的智能体；这些模型统称为增强语言模型（ALMs）。推理（Reasoning）：将复杂任务分解成更简单的子任务，LM可以自己 或使用工具更容易地解决。工具（Tool）：收集外部信息，或者对ALM感知的虚拟或物理世界产生影响。行为（Act）：调用一个对虚拟或物理世界有影响的工具并观察其结果，将其纳入ALM的当前上下文。结合使用：推理和工具可以放在同一个模块