人工智能行业动态报告：ChatGPT技术演进及研究框架-230303（43页）.pdf

1、ChatGPTChatGPT技术演进及研究框架技术演进及研究框架证券研究报告证券研究报告 行业动态报告行业动态报告发布日期：2023年3月3日本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请参阅最后一页的重要声明。分析师：于芳博分析师：于芳博SAC编号：S1440522030001分析师：分析师：阎贵成阎贵成SAC编号：S1440518040002SFC 中央编号：BNS315 核心观点：核心观点：Transformer 模型融合了词向量、注意力机制和预训练模

2、式的诸多优势，其出现标志着深度学习进入大模型时代。OpenAI 推出基于Transformer和人类反馈强化学习的ChatGPT以其强大的语义理解和生成能力引爆了市场。技术侧重点理解大模型训练中的核心四要素：模型参数、训练数据、训练方法以及训练效率。随着预训练自然语言模型进入巨量化参数时代，模型算力需求迈上新台阶。相关投资机遇中，建议重点关注国产AI芯片供应链、海内外大模型相关垂直应用落地情况。核心技术发展推动自然语言处理逐步成熟。核心技术发展推动自然语言处理逐步成熟。对词向量的关注明确了训练目标，构建起语义信息和数据之间的桥梁；注意力机制增强上下文理解能力，提高语义信息学习能力；Transf

3、ormer等模型推动计算结构从串行走向并行，大幅提升算法和语言模型的训练速度；预训练明确了训练思路，解决了数据量不足的问题，降低了模型应用的门槛。以上四点核心进展带来了语言模型语言理解和生成能力的大幅提升，人工智能语言模型逐步走向预训练大模型。对应行业发展，谷歌和OpenAI先后于2018年提出基于Transformer-Encoder的BERT和基于Transformer-Decoder的GPT。与此同时，国内外的其他技术巨头也纷纷加快自然语言处理模型研发进程。训练好大模型的四要素：模型参数、训练数据、训练方法以及训练效率。训练好大模型的四要素：模型参数、训练数据、训练方法以及训练效率。在模

4、型参数上，参数量越大，大模型性能往往越好，当参数量提升到一定程度后性能可能会产生跨越式提升；训练数据方面，大模型对数据量和数据质量均提出了更高要求，高质量的数据集在模型训练过程中带来了更高的边际收益；在训练方法上，一方面需要更充分的预训练以及增大预训练难度，另一方面使用Prompt或Fine-tune可以显著提高模型在下游应用场景的表现；在训练效率上，并行计算、显存优化与模型稀疏性能显著提升大模型训练效率。随着预训练自然语言模型进入巨量化参数时代，模型算力需求迈上新台阶。随着预训练自然语言模型进入巨量化参数时代，模型算力需求迈上新台阶。当前大规模的自然语言模型进入了千亿参数时代，模型的训练算力

5、显著提升，例如GPT-3模型参数量为1750亿，训练算力需求为3.14E+23 flops，如采用1000块英伟达A100芯片提供算力，需要不间断训练55天，可以估算单次训练租用云服务器的成本是328万美金。大模型在商业化落地之后，大量的客户访问还会带来不菲的运行成本，近期ChatGPT官网每日访客数量接近5000万，估算云上月租金576万美元/每月，头部企业开发大模型竞争力更强。后续关注：国产后续关注：国产AI芯片及大模型相关应用落地。芯片及大模型相关应用落地。算力端重点关注国产AI芯片、英伟达供应链、华为AI芯片昇腾供应链。算法应用端重点关注国内相关企业如华为、百度及阿里等的大模型落地情况

6、和相关垂直应用供应商，以及国内公司利用OpenAI技术在海外应用的产品进展。核心观点 eZbUcWeUaVeZcWfV7NcM6MnPoOoMnOeRpPtQlOmMrN8OnNoPMYmMmQNZoMpN目录一、一、NLPNLP算法发展历程介绍算法发展历程介绍二、训练好大模型的要素二、训练好大模型的要素三、算力需求的展望三、算力需求的展望四、投资逻辑梳理四、投资逻辑梳理 1.1 早期自然语言处理（NLP）：基于规则方法/统计方法图图表：基于规则的方法表：基于规则的方法资料来源：easyAI，中信建投图表：基于统计的方法图表：基于统计的方法第一阶段（第一阶段（1950s1950s-1980s1