王昕-LLMOps基于大语言模型构建智能应用的新模式.pdf

1、2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站LLMOps基于大语言模型构建智能应用的新模式王昕 高级技术战略专家王昕有20年从事软件系统设计、开发和产品管理的经验，10年云计算相关技术产品的研发经验。他曾就职IBM、VMware和阿里云等主要云计算相关企业，目前在微软中国从事技术战略和技术生态孵化工作，推广基于OpenAI等大语言模型技术的新应用架构。01缘起介绍OpenAI和LLM的发展历史和相关技术02重塑介绍如何基于LLM重塑企业智能化应用03应用介绍基于LLMOps的企业应用案例04实践介绍LLMOps的最佳实践目录Content01缘起介绍OpenAI和

2、LLM的发展历史和相关技术2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站GPT模型经历多类技术路线演化，逐步成熟与完善基于模板和规则的前深度学习阶段ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累1950年开始MachineLearning1980年开始1990年开始至2012年获得突破2017年模仿人脑进行大量数据的标记和训练CNNRNNGANTransformer重点关注人脑学习过程2018年2019年2020年2021-2022年GPT-1GPT-2GPT-3Instruct-GPT针对人类反馈信息学习

3、的大规模预训练语言模型（RLHF）T5BARTM2m-100BigbirdBERTRoBERTaXLMALBRERTELECTRA全网语料库更高的计算能力更高的适应性更通用的预训练小模型基于两大语料库更适合文本理解监督学习OpenAI使用基于text-davinci-002指令微调的GPT3模型新版Enterprise ChatGPT将于3月上市GPT-3.5（ChatGPT）2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站Transformer架构和注意力机制知识=注意力解码这个世界的关系：语言世界包含了现实世界一个词/句子的涵义决定于它跟其他词/句子的关系等同于现

4、实世界，一个人/物品的意义决定于他/她/它跟其他人/物品的关系2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站大语言模型的参数规模2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站OpenAI主要的3个大语言模型GPT-3.5ChatGPT大多数用例的首选Azure OpenAI 服务中最经济的 GPT 模型适用于所有工作负载，而不仅仅是 ChatGPT-4提高解决问题和推理的能力迭代优化增加令牌限制-适用于长内容特定于用例的模型，可优化推理时间和性能适用于各种用例gpt-3.5-turbotext-davinci-003code-davinc

5、i-002gpt-4gpt-4-32k2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站应用大模型主要的三种技术方式提示Prompting嵌入Embedding微调/训练/定制Fine-Tuning针对LLM模型的Completion API通过好的提问引导答案通过举例促成上下文学习模型：gpt-35-turbo,GPT-4针对Embedding模型的Embedding API知识向量是文本的索引相当于知识的笔记本和字典，开卷考试前准备参考书模型：text-embedding-ada-002针对可以微调的模型的Fine-Tuning API将知识、格式、习惯、风格训练进

6、入模型，相当于闭卷考试前背题库提示是LLM时代的代码模型：text-davinci-00302重塑介绍如何基于LLM重塑企业智能化应用2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站这个时刻成为AI 2.0爆发点的核心原因是什么？AI对于大部分企业来说，有“天马行空”的价值，但不知道怎么真正使用。ChatGPT的全面得到使用开启了企业应用AI的新机遇。2022年2023年Summary to recover from TL;DR(Too Long,Didnt Read)2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站人工智能先驱赫伯特西蒙所期