【海通国际】Google Titans架构再次亮相NeurIPS 2025，补全Transformer的长上下文短板-251208（10页）.pdf

1、 Table_yejiao1 本研究报告由海通国际分销，海通国际是由海通国际研究有限公司，海通证券印度私人有限公司，海通国际株式会社和海通国际证券集团其他各成员单位的证券研究团队所组成的全球品牌，海通国际证券集团各成员分别在其许可的司法管辖区内从事证券活动。关于海通国际的分析师证明，重要披露声明和免责声明，请参阅附录。(Please see appendix for English translation of the disclaimer)Table_yemei1 热点速评 Flash Analysis Table_summary(Please see APPENDIX 1 for Engl

2、ish summary)事件事件 Google 在 NeurIPS 2025 再次强调其 Titans 架构，同时公开相关理论框架 MIRAS。该组合被视为 Transformer 之后的重要 架 构 演 进 方 向，解 决 当 前 大 模 型 在 超 长 上 下 文、长 期 记 忆、跨 文 档 推 理 上 的 核 心 瓶 颈。Google 表示 Titans 支持 百万级 token 处理，并引入推理阶段学习（test-time learning）能力，推动模型向可持续积累经验的智能体方向迈进。点评点评 Titans 通过记忆增强与递归混合结构，实现百万级长文本处理能力。通过记忆增强与递归混

3、合结构，实现百万级长文本处理能力。1）长期记忆模块（Neural Memory）：在传统 Transformer 里，信息是靠注意力短期捕捉。Titans 引入 可更新记忆模块：模型在推理中可将关键信息写入记忆，并在后续检索，形成类似长期记忆的结构。2）递归更新+Attention 的混合结构：Titans 使用 递归结构（RNN-like updates）+注意力（Transformer-like interactions）的组合。递归部分负责线性处理长序列，注意力负责复杂交互。3）MIRAS 理论支持（Memory-Informed Recursive Adaptive System）MI

4、RAS 定义何时写记忆、如何筛选重要信息、如何在推理阶段动态更新。官方表示 Titans 能处理约 200 万 token，支持整本书、代码仓、合规文档等超长文本任务。相较于主流的相较于主流的 Transformer，Titans 推理阶段的动态记忆是核心改进。推理阶段的动态记忆是核心改进。Transformer 依赖全局注意力机制捕捉关联，复杂度随序列长度呈平方级增长，使其在百万级 token 任务上面临显著的计算与存储瓶颈。Titans 通过将递归更新机制与可检索的长期记忆模块结合，将长序列处理从全局比对转向关键表示提取记忆写入的路径，大幅降低了长文本处理成本，提高了跨段落、跨文档的稳定性

5、与可扩展性。Transformer 的推理过程是静态的，即模型只能基于训练阶段固化的参数进行推断的推理过程是静态的，即模型只能基于训练阶段固化的参数进行推断，而 Titans 引入推理阶段学习（test-time learning），允许模型在使用过程中动态更新内部记忆结构，使其在长任务链、跨会话任务中保持更强的连续性与知识积累能力。这使 Titans 在长文本理解、代码仓分析、企业知识库检索、多文档推理、长期对话智能体等场景中具备显著优势；而 Transformer 在短文本生成、即时响应类任务上仍将保持更高的效率与成熟度，两者短期内将呈现分工式共存。我们认为我们认为，Titans 对对 T

6、ransformer 架构形成有效补全架构形成有效补全，主要突破点在于其对长上下文与推理阶段动态记忆的支持，弥补了 Transformer 在超长序列处理、跨文档推理和连续性任务中的结构性短板。对于需要长期记忆的场景，如大型代码仓理解、长期对话智能体（AI Agent）等，Titans 具备显著能力提升；而在短文本、低延迟推理等传统任务上，Transformer 仍具备效率与成熟度优势。Titans 补足 Transformer 在长上下文上的核心限制 在跨文档推理、代码与知识库检索等场景中具备明显优势 Transformer 在短序列、高吞吐类别任务上仍为更优解 风险风险：1）AI 技术发展