1、西南证券人工智能专题研究AIGC投资框架西南证券研究发展中心计算机研究团队2023年5月#page#核心观点自然语言模型是大语言模型的核心。自然语言模型是大模型的核心，支持许多类型的语言任务的执行。ChatGPT和各大主流AIGC模型主要基于大语言模型，通过深度学习算法来处理和生成自然语言。自然语言模型发展经历了基于规则、基于统计和基于神经网络三个阶段，Transformer的出现为以Bert和GPT-3为代表的大语言模型的诞生奠定了模型基础A图AGI，ChatGPT开启人工智能新纪元。ChatGPT结合自回归语言模型+zeroshotprompting，带来A式突破，实现AI到AGI经米Yu

2、-Ld临GHNEdoteD“面水bumduodbuiunauu“特照语言的合理接口，解锁了模型的应用场景，改变了人机交互方式GPT跨越式发展，探索未来更多可能性。各代GPT青出于蓝胜于蓝，更新送代过程中涌现了诸多能力。GPT-4.0更是突破了GPT-3.5仅支持执行文本类任务的局限性，赋子ChatGPT更优异的上下文理解能力、推理能力、演绎能力，甚至图文理解能力。GPT也在不断的更新选代中持续突破，解锁更多能力。多行业结合，下游应用遍地开花。ChatGPT以其高级的生成能力和复杂任务处理能力，以从重资产的模型层到轻资产的中间层和应用层为架构，为游戏行业、视频类行业、生物医药行业等其他行业锦上添

3、花。在ChatGPT的帮助下，各行各业真正的做到了提高效率、减少成本并实现了功能上质的改变，让更多用户受益。风险提示：AI技术更新送代缓慢、专业领域落地效果不及预期、版权纠纷、伦理问题、算力建设缓慢等风险。www.swsC#page#目录1大模型与GPT1.1大模型篇1.2ChatGPT篇1.3GPT-4篇2国内篇3ChatGPT应用场景www.swsC.com.#page#1.1.1大语言模型简介大语言模型简称LLM（LargelanguageModels），是基础的机器学习模型，使用深度学习算法来处理和生成自然语言。这些模型在大量的文本数据上进行训练，再自动生成符合语言规律的文本。大语言模

4、型可以执行许多类型的语言任务，如翻译语言、分析情感、聊天机器人对话等。自然语言模型的发展历史ELMo模型，解决了同一词语在不同语境中含义不同的问题。无代表模型Word2vec采取嵌入GPT-1，基于多层Transformer架阶段一（直到种经网络语言GPT-3发布，构，采用预训练和微调两个阶段的词语训练方法，的模型训练形式。1790年代）：模型和词向量参数达到根据上下文学习词Bert模型，基于多层Transformer基于规则！的概念被提出1750亿语的语义语法信息！架构，对训练集进行双向训练。2019年2017年1970年2000年2010年2013年2018年2003年2020年RNN循环

5、神经网络模GPT-2模型发布。Transforme阶段二（1790型，将上一个位置的架构提出，T5，同时含有编码器和解码器，善于翻到2000年代）：词语输出作为下一个引入注意机译、知识问答等给定话题的输入输出。基于统计位置词语预测的输入制，关注重：BART，预训练时首次使用噪声破坏文本！获取全面文本信息然后通过模型重建原始文本点而非全局N-Gram模型阶段三（2000年代到现在）：基于神经网络www.swsC.com.信息来源：罗兰贝格，西事证券整理#page#1.1.2大语言模型的主要发展历程在Bert和GPT模型问世之前：深度学习模型是自然语（NLP）领域主流的技术第一阶段然语言处理领我的

6、应用主要依赖于以下关键技术：使用大量改进的LSTM模型和少量改进的CNN模型化（2013-2020）（Encoder-decoder）加但这个技术拥有两大主要问题阻碍了深度学习领域的突破：第需要更多的训练和深度的增加，模型数据支持，第二也很难有效的吸收数据内容在Bert和GPT模型问t换体现在预训练模型出现并有两GBert和GPT征，吸收到Transformer的参不同研究方向技术路线。最OPT3终任务包括了自然语言理解其技术体系统一到了以Bert为干务和话代表的双向语言模型加FineTuning模式；对于生成类任务，其技术体系统一到了以GPT2.0为代表的自回归语言模型加zeroshotpr