【山西证券】计算机行业快报：UltraMem架构为推理降本，AI应用全面落地可期-250217（4页）.pdf

1、请务必阅读最后股票评级说明和免责声明请务必阅读最后股票评级说明和免责声明1 1计算机计算机行业快报行业快报领先大市领先大市-A(维持维持)UltraMem 架构为推理降本，架构为推理降本，AI 应用全面落地可期应用全面落地可期2025 年年 2 月月 17 日日行业研究行业研究/行业快报行业快报计算机计算机行业近一年市场表现行业近一年市场表现资料来源：最闻首选股票首选股票评级评级688111.SH金山办公买入-A688041.SH海光信息买入-A相关报告：【山证计算机】DeepSeek 有望推动 AI应用生态加速繁荣 2025.2.6【山证计算机】人工智能扩散框架发布，AI 芯片国产化替代持续

2、加速-行业政策点评 2025.1.20分析师：分析师：方闻千执业登记编码：S0760524050001邮箱：事件描述事件描述：2 月 12 日，字节豆包大模型团队发布全新的稀疏模型架构 UltraMem，有效解决了当前主流的 MoE 架构在推理时产生的高额访存问题，推理速度较 MoE 架构提升 2-6 倍，同时推理成本最高可降低 83%。事件点评：事件点评：UltraMem 在在 PKM 架构的基础上对模型结构架构的基础上对模型结构、value 检索方式检索方式、稀疏参稀疏参数进行优化，在保证模型性能的同时大幅提升推理效率。数进行优化，在保证模型性能的同时大幅提升推理效率。UltraMem 架

3、构参考 PKM（Product Key Memory）的设计，即 Transformer 层中嵌入大内存层以及推理时以行列路由的方式激活参数，访存效果较 MoE 架构明显改善。同时，UltraMem 对 PKM 架构进行针对性优化以提升模型性能：1）优化模型结构：将PKM的单个内存层拆分成多个内存层均匀嵌入Transformer层中，使模型能够并行执行访存和 Transformer 层计算操作；2）优化 value 检索方式：在推理时以 TDQKR 的乘法方法替代简单的行列加权方法选出得分最高的多个 value，使模型能够精准检索到与输入相关的 value；3）隐式扩展稀疏参数：引入数倍于 p

4、hysical memory 的 virtual memory，在不提高模型部署复杂度的情况下提升模型性能。根据实验结果，训练规模达 2000 万 value 的UltraMem 模型，在同等计算资源下可同时实现业界领先的推理速度和模型性能。推理成本持续下降加速应用生态繁荣。推理成本持续下降加速应用生态繁荣。根据 Semianalysis 数据，随着算法持续进步，截至 2024 年底，以 GPT-3 质量的输出为标准，模型推理价格下降了 1200 倍。进入 2025 年，在推理技术优化下，DeepSeek 模型的使用成本不到 o1 模型的 1/25，而字节最新发布的 UltraMem 架构将使

5、主流稀疏模型的推理成本大幅下降。我们认为，模型调用价格是用户选择模型运行应用的重要考量因素，各大模型厂商及科技大厂将持续竞相推动推理成本下降，从而带动上层 AI 应用的加速落地，并有望促进应用从云端场景向端侧场景拓展。投资建议：投资建议：UltraMem 架构的模型推理成本大幅下降，将加速 AI 应用落地，并推动应用向端侧渗透，进而刺激推理算力需求，重点关注 1）AI 应用相关标的，包括企业服务领域的金蝶国际、泛微网络、致远互联，用友网络等，办公领域的金山办公、福昕软件等，多模态领域的万兴科技、美图公司等，金融领域的新致软件、同花顺等，教育领域的科大讯飞、佳发教育等，医疗领域的润达医疗、卫宁健

6、康等，以及其他领域的彩讯股份、金桥信息、焦点科技等；2）国产算力芯片厂商，包括海光信息、寒武纪等；3）AI 服务器厂行业研究行业研究/行业快报行业快报请务必阅读最后股票评级说明和免责声明请务必阅读最后股票评级说明和免责声明2 2商，包括四川长虹、神州数码、拓维信息、浪潮信息、中科曙光、华勤技术等；4）算力云厂商，包括青云科技、优刻得、并行科技等；5）端侧硬件厂商，包括美格智能、移远通信、广和通、乐鑫科技、中科蓝讯、恒玄科技等。风险风险提示提示：AI 产品落地不及预期，行业竞争加剧风险，技术研发进展不及预期。行业研究行业研究/行业快报行业快报请务必阅读最后