计算机行业华为系列深度之十八暨GenAI系列深度之四十九:算力新变局训练范式、架构创新、工程优化-250207(24页).pdf

编号:603718 PDF  DOCX 24页 2.16MB 下载积分:VIP专享
下载报告请您先登录!

计算机行业华为系列深度之十八暨GenAI系列深度之四十九:算力新变局训练范式、架构创新、工程优化-250207(24页).pdf

1、行业及产业 行业研究/行业深度 证券研究报告 计算机 2025 年 02 月 07 日 算力新变局:训练范式、架构创新、工程优化 看好华为系列深度之十八暨 GenAI 系列深度之四十九 相关研究 Deepseek 全解,从算法到算力计算机行业周报 20250127-20250204 2025/02/04 AI 算力软件生态:难以突破吗?华为系列深度之十五 2024/09/19 证券分析师 黄忠煌 A0230519110001 洪依真 A0230519060003 李国盛 A0230521080003 杨海晏 A0230518070003 林起贤 A0230519060002 刘洋 A02305

2、13050006 研究支持 曹峥 A0230123040004 联系人 曹峥(8621)23297818 本期投资提示:AI 大模型训练范式正在转向多阶段,强化学习算力投入仍需提升。OpenAI o1 后,黄仁勋提出三大 Scaling Law:预训练、后训练和推理阶段提升算力投入,都能够提升模型性能。Deepseek V3 和 R1 模型爆火,后训练阶段的强化学习(ReinforcementLearning)以及推理阶段的长思考是核心特点,也再次佐证了后训练阶段、推理阶段的Scaling Law。我们认为这两大 Scaling Law 仍处于起步阶段,模型厂商将继续加码强化学习,算力投入仍有

3、增量空间。模型架构创新,训推成本降低正在进行时。国内外厂商,均有多种创新。1)MoE 混合专家模型:降低训练过程激活参数量以减少计算量,已几乎成为标配;2)注意力机制的改进:线性注意力机制、稀疏注意力机制,将计算复杂度从 o(N2)降低至 o(N),MQA、GQA、MLA 等降低了 KV-Cache,优化推理成本,后续注意力机制仍将改进。Infra 工程优化,模型性价比持续提升。模型架构的创新,给硬件通信和显存带来了压力,infra 优化至关重要,Deepseek 是工程优化的代表。根据清华大学博士的测算,DeepSeek V3 模型在 H800 算力集群上的算力使用效率 MFU 约为 36.

4、1%39%,相较半年前的 DeepSeek V2 提升了 61%,为 DeepSeek 节省了近 1200 万元的成本。根据 Semianalysis,Deepseek V3 的价格(MMLU cost/1M Tokens)较 GPT-4 下降了 90 倍以上,AI 模型性价比持续提升。开源+蒸馏趋势下 AI 模型智能平权开启,杰文斯悖论可能生效。“算法优化成本下降渗透率提升强化训推投入”闭环逻辑持续。算法和硬件架构优化带来的成本下降,会令模型厂商使用同等投入买到更多训练 Flops,加速模型能力的更新以及应用加速渗透,从而带动推理算力需求的爆发。同时,deepseek V3、R1 模型,以及

5、 1.5B至 70B 的蒸馏模型均为开源,可部署在端侧,帮助端侧 AI 渗透。宏观维度,海内外大厂加码资本开支趋势延续。海外大厂微软、Meta 2024 年资本支出增速保持在 40%以上,谷歌 FY25 全年 Capex 为 750 亿美元,相比此前市场预期大幅上修。国内,以腾讯、阿里为代表的厂商 24 年前三季度加码 Capex。字节 2025 年算力资本开支有望向 Meta 看齐,小米也即将入局大模型,算力军备竞赛仍在持续。本轮预期差在国产算力性能和生态突破。2024 年国产 AI 芯片性能、生态均有突破,部分产品硬件算力指标接近英伟达 H100。软件生态方面,海光 DTK 学习 CUDA

6、,有“类 CUDA”属性,华为昇腾采用全栈自有路线,工具链完备,适配程度高、算子丰富、社区活跃,有望成全球 AI 算力“第二极”。建议关注:浪潮信息、神州数码、紫光股份、海光信息、泰嘉股份、澜起科技、中芯国际、盛科通信-U、烽火通信,中兴通讯等。风险提示:技术路线不确定;技术研发迭代进展不及预期;供应链稳定风险;竞争加剧风险。请务必仔细阅读正文之后的各项信息披露与声明 行业深度 请务必仔细阅读正文之后的各项信息披露与声明 第2页 共24页 简单金融 成就梦想 投资案件 结论和投资分析意见 训练范式、架构创新、工程优化三大因素共同推动模型成本下降。开源+蒸馏趋势下 AI 模型智能平权开启,杰文斯

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(计算机行业华为系列深度之十八暨GenAI系列深度之四十九:算力新变局训练范式、架构创新、工程优化-250207(24页).pdf)为本站 (strive) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
折叠