计算机行业：大模型时代AI技术向效率提升演进-230227（12页）.pdf

1、 敬请参阅最后一页特别声明 1 投资逻辑 我们 2022 年 12 月发布的报告深度学习算法：从多样到统一中，阐述了自 Google 2017 年提出 Transformer 以来，深度学习开始进入大模型时代。大模型时代的前沿技术发展围绕着提升效率而展开，包括：1）提升训练方法效率：向无监督和半监督学习发展；2）提升数据效率：从追求数据规模向追求数据质量发展；3）提升开发效率：通过“预训练基础模型+微调”，挖掘现有大模型潜力，降低具体下游任务的开发成本；4）提升算力效率：从稠密机构向稀疏结构发展；5）提升训练的工程化效率：向并行训练和混合精度训练发展 训练方法：AI 模型的训练方法主要包括监督

2、学习和无监督学习两种典型方式，后随模型训练数据量的增加，衍生出使用大量未标注数据+少量标注数据的半监督学习方法。AI 训练方法的发展历经“监督-无监督-监督-无监督/半监督”4 个阶段，在目前的大模型阶段，无监督/半监督训练再次成为主流。数据效率：随参数规模的增加，大模型在知识密集型任务中的效果提升显著。此外，当模型参数超过特定阈值后，模型会对特定任务表现出“涌现”现象。目前学界和业界已意识到数据质量的重要性或高于数据数量，AI 大模型需要在保证数据质量的前提下进行数据数量和参数规模的扩充。开发效率：AI 大模型的流行提出了“基础模型+微调”的 AI 开发新范式。相较于过去“一场景、一任务、一

3、模型”的开发模式，“基础模型+微调”具有数据需求量小、训练时间短、落地边际成本低等优点。微调技术的发展带动大模型由“以参数规模取胜”向“以高质量学习取胜”转变。算力效率：AI 架构可分为稠密结构和稀疏结构，其中稀疏结构可有效降低大模型对算力的消耗。2017 年 Google提出了混合专家方法 MoE，使得模型在计算过程中只需激活部分神经网络；2022 年 6 月 Google 发布的基于稀疏结构的多模态模型 LimoE，已经在降低算力消耗的同时取得不亚于稠密结构的成绩。工程化效率：伴随 AI 大模型参数量的不断提升，并行训练、混合精度训练等技术发展迅速。其中，国产 AI 框架百度 Paddle

4、Paddle 提出的 4D 混合并行策略在 MLPerf 发布的稠密结构 AI 训练性能榜单中位列第一；通过使用16 位浮点数代替 32 位浮点数进行训练，能够在同等模型表现的情况下实现训练时间减半。投资建议 建议关注受益于 AI 算法进步，并能成功进行商业化应用的科大讯飞、商汤科技等公司；以及受益于 AI 算力需求、微调技术发展的海光信息、浪潮信息、海天瑞声等公司。风险提示 海外基础软硬件使用受限；骨干网络创新放缓；应用落地不及预期 行业深度研究 敬请参阅最后一页特别声明 2 内容目录内容目录 1.训练方法演进：无监督、半监督训练再次成为主流.3 2.训练数据演进：从追求规模到追求质量.6

5、3.开发方式演进：微调技术受到重视.7 4.架构设计演进：从稠密结构到稀疏结构.8 5.训练技术演进：并行训练与混合精度训练.9 6.投资建议.10 7.风险提示.10 图表目录图表目录 图表 1：监督学习与无监督学习方式对比.3 图表 2：LeNet-5 卷积神经网络典型结构.4 图表 3：逐层无监督+BP 有监督可解决梯度消失问题.4 图表 4：计算机视觉领域经典开源数据集.5 图表 5：自然语言处理领域的无监督学习方法.5 图表 6：MAE 无监督学习方法在多个下游任务中优于监督方法.6 图表 7：知识密集型任务表现随参数规模提升.7 图表 8：AI 大模型在复杂任务中表现出“涌现”现象

6、.7 图表 9：InstructGPT/ChatGPT 中的人类反馈强化学习技术.8 图表 10：稠密结构与稀疏结构对比.9 图表 11：混合专家方法示意.9 图表 12：百度 PaddlePaddle 4D 混合并行策略示意.10 nNnMZVfWfVeUrV8ZMB7N9R8OpNrRnPpMkPpPpNfQtRyQ8OqRpOuOnMqQvPqRrM行业深度研究 敬请参阅最后一页特别声明 3 我们 2022 年 12 月发布的报告 深度学习算法：从多样到统一 中，阐述了自 Google 2017年提出 Transformer 以来，深度学习开始进入大模型时代。本文旨在讨论大模型时代下，整