新架构RNN反超Transformer：每个隐藏状态都是一个模型，一作：从根本上改变语言模型
内容提要
新架构RNN反超Transformer，将隐藏状态换成可学习的模型，称为TTT。TTT在短上下文时表现超过了Transformer和Mamba，且能更好利用长上下文。隐藏状态模型可以是任意模型，可用于压缩上下文和视频建模。TTT方法还需继续研究和努力。
延伸解读
TTT的核心创新：隐藏状态从向量变为模型
传统RNN的隐藏状态是固定大小的向量，表达能力有限。TTT将隐藏状态替换为可学习的模型（如线性模型或MLP），通过自监督学习在测试时动态更新。这种设计让隐藏状态能主动压缩上下文信息，且表达能力更强，可直接替代Transformer中的自注意力层。
性能表现：短上下文超越Transformer，长上下文优势更明显
在Pile数据集上，2k上下文时TTT与Transformer、Mamba相当；8k时TTT-Linear和TTT-MLP均优于后两者。在32k长上下文测试中，TTT表现优于Mamba，且随着上下文增长优势扩大。速度方面，TTT-Linear预填充比Mamba稍快，解码几乎持平。
当前局限与未来方向
TTT尚未实现完全并行化，团队通过mini-batch梯度下降和Dual form方法在JAX实现中提速5倍以上。目前仅探索了线性模型和小型MLP，更复杂的隐藏状态模型有待研究。此外，TTT还可用于视频建模，密集采样帧对Transformer是负担，对TTT却是福音。
Q&A
TTT架构如何改变语言模型的隐藏状态？
TTT架构将RNN中的隐藏状态替换为可学习的模型，从而增强了表达能力。
TTT在短上下文和长上下文中的表现如何？
TTT在短上下文时表现超过Transformer和Mamba，且在长上下文中也能更好利用信息。
TTT方法的隐藏状态模型可以是什么？
TTT的隐藏状态模型可以是任意模型，包括线性模型、MLP、CNN等。
TTT方法在训练时的学习机制是什么？
TTT使用自监督学习将上下文压缩到隐藏状态，并在测试时为每个输入序列训练不同的参数。
TTT架构是否能够并行化？
目前TTT方法尚未实现并行化，但团队提出了mini-batch梯度下降的解决方案。
TTT方法是否适用于视频建模？
是的，TTT方法除了用于语言模型外，还适用于视频建模。
