计算机行业AIGC系列报告（二）：算力AIGC时代的“卖铲人”-230402（28页）.pdf

《计算机行业AIGC系列报告（二）：算力AIGC时代的“卖铲人”-230402（28页）.pdf》由会员分享，可在线阅读，更多相关《计算机行业AIGC系列报告（二）：算力AIGC时代的“卖铲人”-230402（28页）.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、证券研究报告一行业深度报告|计算机信息技术AIGC时代的“卖铲人”算力：仙-AIGC系列报告（二）刘玉萍周翔宇m招商证券CMSS1090518120002S10905180500012023.4.2#page#要点概览本篇报告系统地梳理了大模型训练及推理需要多少算力。大模型参数量快速提升，Transformer架构成为发展超势。根据最新论文对“涌现”效应的研究，当模型训练量超过1022后，模型准确率有了很大的提升，近年来，NLP模型的发展十分迅速，模型的参数量每年以5至10倍的速度在提升，背后的推动力即大模型可以带来更强大更精准的语言语义理解和推理能力。Transformer架构通过计算数据之

2、间的关系提取信息，相较于卷积神经网络具有更强大的运算效率，更适合参数和数据集庞大的自然语言处理学习。基于GPT3大模型的训练/推理所需的算力及金额测算。训练端，以GPT3为例，完成一次大模型训练所需的算力需求量为3646PFDays，若用10000张英伟达V100/A100训练则分别需要14.59/3.34天，对应训练费用分别为4.72/1.89百万美元。推理端，以GPT3为例，1000个token的推理算力需求约为350TFLOPS，对应推理成本约为0.15美分。英伟达GPU是当前最适合做训练的AI芯片。GPU提供多核并行计算的基础，且核心数众多，可以支撑大量数据的并行运算，英伟达Tenso

3、rcore技术能够通过降低精度，在性能方面实现数量级的提高。此外，针对大规模AI训练，英伟达推出DGX系统，包括A100、H100、BasePOD、SuperPOD四款产品，其中，DGXA100、DGXH100为英伟达当前服务于AI领域的服务器产品。投资建议：算力是AIGC时代的“卖铲人”。我们认为发展算力基础设施是AIGC产业发展中必不可少的环节，我国在算力领域仍有较大成长空间。其中，国产AI芯片领城重点推荐寒武纪（电子联合覆盖）、海光信息（电子联合覆盖）；服务器领城重点推荐中科曙光、浪潮信息。风险提示：AI服务器供应链风险；AI芯片研发不及预期风险；AI相关上市公司短期涨幅过大风险。CMS

4、招商证券#page#目录大模型需要大算力一、1.1模型不断增大，Transformer架构成为发展超势1.2涌现理论：大模型是自然语言处理的核心1.3大模型模型参数量快速提升1.4英伟达GPU是当前最适合做训练的AI芯片二、大模型算力需求测算三、英伟达DGX系统介绍四、投资建议CMSm招商证券#page#page#1.2涌现理论：大模型是自然语言处理的核心图：各种模型EmergentAbility出现时的训练量对比自然语言处理任务的准确率与训练量-LaMDA-GPT3GophuPaLNRandom紧密相关，因此大模型在自然语言处（A）Mod.arithmnetic（B）IPA translit

5、erate（D)Persian QA（C）Word unseramble理领域不可或缺A品根据最新的论文研究，当模型训练烟量小于1022时，模型在几个自然语部言处理任务上的准确率都在0附近10210101810211021010201018100F而当模型训练量超过1022后，模NLU（E）TruthfulQA（F）Grounded（G）Multi-t（H）Word inmappings型的准确率有了很大的提升，该效应称之为“涌现”。兄根据OpenAI的官网披露，GPT4大模型在参数量及数据集较GPT3有D10210281021021021010210210210201021022大幅提升，我

6、们认为从GPT4在自Model scale (training FLOPs）然语言任务处理上所表现出的优异e in the few-shot prompting setting.Each point is a separate model.The ability to performa task via few-shot prompting is emergent when a language model achieves radom性能进一步表明，通过提高模型参performance until acertain scaleafter which performance significa