1、 计算机/行业专题报告/2025.02.21 请阅读最后一页的重要声明！大模型系列报告（二）：Scaling Law 启示录 证券研究报告 投资评级投资评级:看好看好(维持维持)最近 12 月市场表现 分析师分析师 杨烨 SAC 证书编号：S0160522050001 相关报告 1.DeepSeek或全面加速智能驾驶产业发展 2025-02-15 2.春节影响销量承压，多家车企接入DeepSeek 2025-02-13 3.s1 和 LIMO 带来的产业启示 2025-02-08 核心观点核心观点 Scaling Law：实验科学的产物：实验科学的产物。Scaling Law 指的是大语言模型

2、（指的是大语言模型（LLM）的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型的的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型的具体结构（如层数、深度或宽度）基本无关。随着模型规模、数据量和计算资具体结构（如层数、深度或宽度）基本无关。随着模型规模、数据量和计算资源的增加，模型的性能会相应提升，并且这种提升呈幂律关系。源的增加，模型的性能会相应提升，并且这种提升呈幂律关系。Scaling Law是实验科学的产物。是实验科学的产物。2022 年 11 月，ChatGPT 的亮相震惊了业界，标志着大模型的重大突破，Scaling Law 并成为进一步扩展模型规模

3、的核心指导思想。业界普遍认为，只要能够提供更大规模的参数、更多的数据和更强大的计算能力，模型的能力将持续提升，最终可能接近或实现通用人工智能（AGI）。Scaling Law 面临的挑战：高质量数据和算法创新。面临的挑战：高质量数据和算法创新。当前的数据资源正面当前的数据资源正面临枯竭的挑战，临枯竭的挑战，Transformer 架构也未能完全表达人脑的思考机制。架构也未能完全表达人脑的思考机制。当前 AI的局限性不仅在于数据不足，还在于其学习效率的低下。真正的智能不仅仅是数据量的堆积，更在于对信息的压缩和提炼，类似于通过总结第一性原理的方式获取更深层次的智能。Scaling Law 的新范式

4、探索的新范式探索，向后训练、推理阶段转移：向后训练、推理阶段转移：当前业界所经历当前业界所经历的“放缓”是的“放缓”是 LLM Scaling Law 中一个预期的部分。中一个预期的部分。我们需要对 Scaling Law树立正确的认知，它存在自然衰减，我们对 LLM 能力的期望存在较高方差，以及大规模跨学科的工程化尝试需要时间。在对新范式的不断探索下，Scaling Law 向后训练、推理阶段转移，向后训练、推理阶段转移，研究发现研究发现强化学习（强化学习（RL）与测试时间（）与测试时间（Test time）也存在）也存在 Scaling Law。DeepSeek-R1-Zero 在技术路线

5、上实现了突破性创新，成为首个完全摒弃监督微调环节、完全依赖强化学习训练的大语言模型，证明了无监督或弱监督学习方法在提升模型推理能力方面的巨大潜力。李飞飞团队以低于 50 美元的训练成本开发出的高性能 AI 推理模型 s1-32B 和上海交大团队提出的 LIMO 等研究不仅揭示了高效能、低成本开发路径的可能性，同时也指出了 LLM Scaling Law 的关键方向之一，即高质量数据集与强大的基座模型。在这一框架下，研究的重点从单纯追求更大规模的数据和计算资源转向优化数据质量和挖掘现有模型的潜在能力。What will we scale next？任何新范式最终都会达到瓶颈或边际放缓，因此，当前

6、的方向应当是在瓶颈到来之前，穷尽现有的 Scaling 方向，同时寻找新的Scaling Law 环节。借用借用 Cameron R.Wolfe,PhD 的一句话，“的一句话，“Whether scaling will continue is not a question.The true question is what we will scale next”。”。投资建议：投资建议：见正文。风险提示：风险提示：技术迭代不及预期的风险；商业化落地不及预期的风险；政策支 持不及预期风险；全球宏观经济风险。-18%-4%11%25%40%54%计算机沪深300上证指数 谨请参阅尾页重要声明及财通