元语AI：ChatGPT技术、国产化尝试和开源模型（2023）（20页）.pdf

1、ChatGPT技术、国产化尝试和开源模型元语AI 徐亮自然语言大模型Model-as-a-Service服务商 概览背景1.ChatGPT技术1）技术演进：GPT-InstructGPT-ChatGPT2)存在什么样的问题？3）学习三阶段4）数据组织和效果评估2.国产化1）背景与问题 2）解决思路3）效果与实践3.开源模型1）中文开源模型2）基于自有数据训练出本地模型3）可能的问题、差距和如何进一步提升效果fZvWaVkXaQ8QaQoMpPnPtQkPrRnRlOnMxObRmOnMxNnNqOvPmQxP背景 ChatGPT:通用功能型助手 2022年12月5日，OpenAI首席执行官Sa

2、m Altman在社交媒体上发文称，ChatGPT推出五天，已突破100万用户 AI聊天机器人ChatGPT爆火出圈！微软正洽谈100亿美元增持股份背景为什么这么受欢迎：1）更好的理解用户意图与生成能力-更好的效果；2）便利的使用形式（对话机器人）-人人都能使用ChatGPT技术：模型演进ChatGPT技术：之前的模型存在什么样的问题？对齐对齐问题：大模型生成的响应不符合用户意图用户意图 原因：语言模型训练的训练目标是预测下一个词，而不是按照用户意图来生成 怎么解决：加入基于人类反馈的强化学习（RLHF）ChatGPT技术：三步走1.真实用户输入的监督学习2.奖励函数，评价模型的生成效果3.基

3、于人类反馈的强化学习，生成更符合人类需要的内容参考：InstructGPT,Training language models to follow instructions with human feedbackChatGPT技术：数据组织数据组织和效果评估 冷启动：冷启动：1）现有系统用户prompt；2）标注相似的prompt；3）标注人员自己想的prompt 三部分数据（三部分数据（77K77K真实数据）：真实数据）：1.基于真实用户prompt的监督学习数据(用户prompt,模型response,13k)2.用于奖励模型训练的数据（一个prompt多个response的排序,33k）3

4、.基于奖励模型使用强化学习进行训练（用户的prompt,31k）ChatGPT技术：数据组织和效果评估效果评估ChatGPT国产化：背景与问题 背景与问题：1、ChatGPT效果虽好，但本身不对中国大陆服务2、本地化问题：可能不能满足国内企业级客户的需求，包括无法提供本地化技术支持与服务3、价格问题：以欧美为主要市场的美元计价国内多数用户可能承受不了。ChatGPT国产化：解决思路 分步走：1）百亿参数的中文模型的预训练；2）亿级别任务数据上的监督学习（Prompt多任务学习）；3）对话化-再，引入奖励模型和RLHF用户反馈的强化学习ChatGPT国产化：Prompt多任务学习全中文任务支持零

5、样本学习模型(PromptCLUE)1.三大统一：统一模型、统一数据形式、统一使用方式；2.1000亿中文字词级别token无监督学习，亿级下游任务数据，累积学习1.5万亿中文字词级别token3.支持20多种任务上的零样本使用（文本理解类、抽取类、生成累任务）相关工作：google flan-t5,meta opt-imlChatGPT国产化：对话化 移除了文本理解类和抽取类任务 加强了问答、对话和生成类问答、对话和生成类任务的学习 上下文上下文能力加强：针对多轮对话容易受到上下文的干扰，加入了抗干扰数据使得模型可以在必要时忽略无关的上下文；更好理解用户意图用户意图：加入了用户反馈数据的学习

6、ChatGPT国产化：实践与效果与ChatGPT相比，我们还需要1-2年时间开源模型：功能型对话中文大模型（ChatYuan）1.ChatYuanChatYuan：元语功能型对话大模型（开源版，7.7亿参数）:项目地址：https:/ 2.ChatYuanChatYuan:通用功能型对话中文大模型（百亿参数，线上版）ModelSHuggingfaceGithub开源模型：本地使用开源模型：基于自有数据训练出本地模型数据组织将数据组织成统一的格式，由两部分构成：输入(Input)和输出(Output)。针对单轮问答单