Google Titans + MIRAS：终结 AI 健忘症，让模型拥有真正的长期记忆

2017年，Transformer架构引入了注意力机制，但计算成本随序列长度增加显著上升。

Google Research推出Titans和MIRAS架构，结合RNN的速度与Transformer的准确性，支持超长上下文处理。

Titans模仿人脑记忆，采用短期、长期和持久记忆，通过“惊喜度量”选择性更新信息。

Titans的三层记忆架构包括短期记忆、神经长期记忆和持久记忆。

惊喜度量用于选择性更新重要信息，确保模型只记住新颖和重要的输入。

Titans还引入动量和遗忘机制，确保相关信息被抓住并处理极长序列时有效管理记忆容量。

MIRAS是序列建模的统一理论框架，将各种序列建模方法整合为一个高度复杂的联想记忆模块。

MIRAS拆解序列模型的关键设计选择，包括记忆架构、注意力偏差、保留门和记忆算法。

MIRAS跳出均方误差的框框，提供生成框架探索更丰富的设计空间。

Google研究团队的实验显示，Titans和MIRAS在语言建模和常识推理任务中表现优异。

Titans在处理极长上下文的能力上表现突出，能够有效缩放到超过200万个token的上下文窗口大小。

Titans和MIRAS的应用范围广泛，包括基因组建模、时间序列预测、超长文档理解和多步骤推理。

Titans和MIRAS框架标志着序列建模的重大飞跃，突破了固定大小循环状态的局限，推动AI记忆系统的发展。