彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
内容提要
一项新的研究提出了名为Test-Time Training（TTT）的新架构，用于替代Transformer模型，并在大型语言模型（LLM）上取得更好的性能。TTT通过使用机器学习模型代替RNN的隐藏状态，并通过实际梯度下降来压缩上下文，设计了新架构。实验结果表明，TTT-Linear和TTT-MLP能够匹敌或击败最强大的Transformer和Mamba架构方法。研究团队公开了代码供人们训练和测试。该研究认为，TTT层可以直接替代Transformer中的自注意力层，并具有更低的困惑度和更好的利用长上下文的能力。
延伸解读
TTT 的核心创新：用模型代替隐藏状态
TTT 层将 RNN 的固定大小隐藏状态替换为一个机器学习模型，并通过自监督学习步骤在测试时更新该模型。这种设计使隐藏状态能够动态压缩上下文，从而在长序列中保持高效性和表现力。与传统的 RNN 层相比，TTT 层通过梯度下降更新，能更好地捕捉 token 间的复杂关系。
性能优势：长上下文与计算效率
实验表明，TTT-Linear 和 TTT-MLP 在 125M 到 1.3B 参数规模上匹敌或超越 Transformer 和 Mamba。在 8k 和 32k 上下文长度下，TTT 层展现出更低的困惑度和更好的长上下文利用能力。此外，TTT-Linear 在训练速度上优于 Transformer 基线，且具有线性复杂度，实际运行时间更快。
架构灵活性：可直接替换自注意力
TTT 层可以无缝集成到任何网络架构中，直接替代 Transformer 的自注意力层，并进行端到端优化。研究还发现，将 TTT 层与 Mamba 主干网络结合能进一步提升性能，而 Transformer 主干可能更适合更大模型和更长上下文。这种灵活性为未来架构设计提供了新方向。
研究背景与开源资源
TTT 研究由斯坦福、UC Berkeley、UCSD 和 Meta 的研究者合作完成，历时一年半。主要作者 Yu Sun、Xinhao Li 和 Karan Dalal 均将测试时训练作为核心研究方向。团队已公开 JAX 训练代码和 PyTorch 推理代码，方便社区复现和进一步探索。
Q&A
TTT架构的主要创新是什么？
TTT架构通过使用机器学习模型替代RNN的隐藏状态，并利用实际梯度下降来压缩上下文，旨在替代Transformer模型。
TTT-Linear和TTT-MLP的性能如何？
TTT-Linear和TTT-MLP在性能上能够与最强大的Transformer和Mamba架构相匹敌或超越，尤其在长上下文中表现出色。
TTT层如何改善长上下文的处理能力？
TTT层通过新的信息压缩和模型记忆机制，能够更好地利用长上下文，表现出更低的困惑度。
TTT架构的实现中采用了哪些技术？
TTT架构采用了小批量token和双重形式的技术，以提高训练效率和速度。
TTT层可以集成到哪些网络架构中？
TTT层可以集成到任何网络架构中，并进行端到端优化，类似于RNN层和自注意力层。
TTT研究的主要作者来自哪些机构？
TTT研究的主要作者来自斯坦福大学、加州大学伯克利分校和加州大学圣迭戈分校。
