《计算机行业深度研究：深度学习算法发展从多样到统一-221219（17页）.pdf》由会员分享，可在线阅读，更多相关《计算机行业深度研究：深度学习算法发展从多样到统一-221219（17页）.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、-1-敬请参阅最后一页特别声明 市场数据市场数据(人民币）人民币）市场优化平均市盈率 18.90 国金计算机指数 1734 沪深 300 指数 3954 上证指数 3168 深证成指 11295 中小板综指 11959 相关报告相关报告 1.高职院校教育新基建投资指南-教育信息化行业深度报告，2022.12.14 2.重磅车型放量，智能驾驶渗透率持续提升-智能汽车 8 月月报，2022.9.13 3.基本面拐点向上，龙头布局正当时-2022-09-01 行业中.，2022.9.1 4.畅享“新四化”，龙头布局时-计算机2022 年中期策略，2022.6.14 5.金融科技板块 21 年报及 2

2、2Q1 梳理-2022-05-03 行.，2022.5.4 王倩雯王倩雯 分析师分析师 SAC 执业编号：执业编号：S1130522080001 孟灿孟灿 分析师分析师 SAC 执业编号：执业编号：S1130522050001 深度学习深度学习算法发展：从多样到算法发展：从多样到统一统一 投资建议投资建议 行业策略行业策略：深度学习的三要素包括算法、数据和算力，本文主要对算法的演进历程进行了回顾，认为深度学习底层算法被统一为 Transformer 之后发展放缓；而算法的行业落地应用、大数据的生成与处理、高算力芯片成为重点发展方向。推荐组合推荐组合：建议关注受益于人工智能算法进步，并能成功实现

3、商业化应用的海康威视、科大讯飞、中科创达、商汤科技等公司，以及关注可提供大算力AI芯片的海光信息等公司。行业观点行业观点 神经网络的发展以 Relu 激活函数的提出为分水岭，可分为浅层神经网络和深度学习两个阶段。浅层神经网络阶段最重要的任务是解决梯度不稳定的问题，在这个问题未被妥善解决之前，神经网络受限于激活函数梯度过大或过小、以及神经元全连接对高算力的要求，因此应用性能不佳，而属于非神经网络的支持向量机（SVM）是当时解决人工智能模式识别的主流方法。过去 10 年，深度学习经历了从多样化发展到融合统一的阶段。深度学习时代的开启依托于 2011 年 Relu 激活函数被提出、梯度消失问题被大幅

4、缓解，此后深度学习算法和应用的发展均突飞猛进。最初卷积神经网络（CNN）通过对高层次特征的提取和压缩，擅长图像分类等任务；循环神经网络（RNN）通过对时序信息的提取，擅长文字、语音识别和理解等任务。2017 年 Transformer 的提出让深度学习进入了大模型时代、2020 年 Vision Transformer 的提出让深度学习进入了多模态时代。由于 Transformer 在大数据并行计算方面具备优势，且训练数据增长后对模型精度提升明显，自此各模态和各任务底层算法被统一为 Transformer 架构。深度学习底层算法发展放缓，数据无监督学习、数据生成以及高算力芯片成为行业发展的重点

5、方向。目前深度学习算法主要是基于 Transformer 骨干网络来进行分支网络的创新。如 OpenAI 在多模态主干网络 CLIP 的基础上引入扩散模型，即训练出能完成语义图像生成和编辑的 DALLE2，引发AIGC 浪潮；在 GPT-3 模型基础上引入了人类反馈强化学习方法（RLHF），训练出 InstructGPT 模型，并据此发布了对话机器人 ChatGPT，引起了互联网用户的注意。但随着 Transformer 基本完成底层算法统一之后，整个行业底层算法发展速度开始放缓，静待骨干网络的下一次突破。同时基于Transformer 对大数据的需求，催生了无监督学习、高算力芯片的发展。风险

6、提示风险提示 海外基础软硬件使用受限；骨干网络创新放缓；应用落地不及预期 138815521717188120462210211220220320220620220920国金行业 沪深300 买入买入 2022 年年 12 月月 19 日日 计算机组计算机组 计算机行业研究 买入 (维持评级)行业深度研究行业深度研究 证券研究报告 用使箱邮共公司公限有理管金基商招供仅告报此行业深度研究-2-敬请参阅最后一页特别声明 内容目录内容目录 1.感知机：第一个神经网络.4 2.多层感知机与 BP算法神经网络的再兴起.4 2.1 多层感知机解决了多元分类问题.4 2.2 BP算法：神经网络训练的基本算法