ChatGPT：真格基金分享（30页）.pdf

1、ChatGPT林惠真格基体验 ChatGPT与 GPT-3 的对与 GPT-3 的对与 GPT-3 的对强烈建议体验https:/mirror.xyz/0 x6E12A28086548B11dfcc20c75440E0B3c10721f5/9O9CSqyKDj4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBc ChatGPT 提升的核点敢于质疑不正确的前提主动承认错误和法回答的问题幅提升了对户意图的理解幅提升了结果的准确性提升类意图的致性连续多轮对话能提升的原因加了基于类的反馈系统丛问题库抽取问题什么是蕉？蕉是种果，从蕉树.标记者（Labeler）书写期待的回复被标记的数据来调

2、优 GPT-3.5什么是蕉？蕉是种果，从蕉树.蕉是芭蕉科、芭蕉属植物.蕉为芭蕉科植物蕉的果实。原产亚洲东南部蕉，从属性来说，与草莓、葡萄、猕猴桃是亲标记者（Labeler）排序所有标记着答案排序答案训练 奖励模型采样问题，并列出所有模型和标记者的回答写个獭的故事输奖励模型得到分数和优化参数通过模型成初步回答持续优化参数迭代很久很久以前.Reinforcement Learning from Human Feedback往前捋捋GPT-1GPT-2GPT-3InstructGPTchatGPT20182019202020221500w 美 1750 亿参数15 亿参数1.17 亿参数再往前捋捋G

3、PT-1GPT-2GPT-3InstructGPTchatGPTTransformerBERTRoBERTaXLMALBERTELECTRAT5BARTM2m-100BigBird2017DecoderEncoderAttention is All You Need继续再往前捋捋GPT-1GPT-2TransformerBERTRoBERTaT5BART2017 开始CNN 卷积神经络RNN 循环神经络1990开始-2006突破-2015繁荣继续再往前捋捋机器学习GPT-1TransformerBERTT52017 开始CNN 卷积神经络RNN 循环神经络1990 开始-2006 突破1980

4、 开始基于规则1950 开始发展趋势机器学习Transformer优化脑学习过程 关注重点全部神经络基于规则写规则，简单粗暴 只能处理常少量数据找到些函数或参数 分类固定量数据像脑样学习 开始尝试量数据提前标记些数据 根据量数据分类学习个复杂的参数集合分类和绿发展趋势Transformer优化脑学习过程 关注重点全部神经络像脑样学习提前标记些数据 根据量数据分类学习个复杂的参数集合GPT3投喂 海量的学习数据ChatGPT对结果的反馈 成为学习过程的部分1200 万美需分类数据算法数据量+既要聪明，要努算法数据量+ChatGPT：每步都观察类反馈 朝着类期望的向进发脑洞思考GPT3海量的学习数

5、据 漫的学习过程ChatGPT对结果的反馈 成为学习过程的部分1500 万美？更遥远的未来有没有算法能 突破脑结构限制？基于类反馈的训练法 能否拓展到更多领域？如情感？投资度应层：出现新的 AI+创业机会 1.更好的客服机器、机器翻译等 2.更垂直的专业化 AI（户反馈系统定向训练）3.AI 基础设施（模型运维，管理，训练等）需要考虑：1.模型开始流（创业初始成本上升，团队融资能）2.训练成本持续上升（团队商业能）OpenAI 发展史OpenAI 发展历史2015 年 12：OpenAI 由群包括 Elon Musk 和 Sam Altman 等个和组织创建，旨在推进和促进智能领域的研究。20

6、16 年：OpenAI 开发了第个智能系统，击败了职业玩家在Dota 2游戏中。2017 年：OpenAI 发布了 GPT-1，这是个能够成类本的语处理模型。2018 年：OpenAI 与 Microsoft 合作，推出了 Azure AI Platform，这是个新的项，旨在让开发员更容易构建和部署 AI 应程序。2019 年：OpenAI 发布了 GPT-2，这是个 GPT-1 功能更强的语处理模型。2020 年：OpenAI 发布了 DALL-E，这是个能够根据本描述成