量子位
·
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
谷歌在NeurIPS 2025上推出了新架构Titans和MIRAS，突破了Transformer在超长上下文处理中的限制。Titans结合了RNN的速度与Transformer的性能，能够动态更新记忆，扩展上下文至200万token。MIRAS则提供统一的序列建模框架，优化信息整合与记忆更新。这些新架构在处理长序列时优于现有模型，标志着AI领域的重要进展。
🎯
关键要点
- 谷歌在NeurIPS 2025上推出新架构Titans和MIRAS，突破Transformer在超长上下文处理中的限制。
- Titans结合了RNN的速度与Transformer的性能，能够动态更新记忆，扩展上下文至200万token。
- MIRAS提供统一的序列建模框架，优化信息整合与记忆更新。
- Titans引入新的神经长期记忆模块，能够在推理阶段动态更新权重。
- MAC架构将长期记忆作为额外上下文信息，提升模型的表达能力。
- Titans通过“意外指标”选择性更新长期记忆，保持快速和高效。
- MIRAS将序列模型结构为四个关键设计选择，优化信息的学习与保留。
- 基于Titans和MIRAS的模型性能优于现有的线性循环模型和Transformer基线模型。
- 谷歌的研究人员认为公开Transformer的研究对世界产生了积极影响。
➡️
