一文通透TTT：让RNN的隐藏层变成可学习的函数——继mamba之后也想超越Transformer
内容提要
TTT是一个新的模型，旨在将长上下文压缩为固定大小的隐藏状态。与RNN不同，TTT能够有效地捕捉标记之间的底层结构和关系。TTT使用自监督学习将历史上下文压缩为隐藏状态，以用于预测。该模型通过基于自监督损失更新权重进行训练。TTT在压缩长上下文的同时保持了效率和质量，展现了有希望的结果。
延伸解读
TTT 与 RNN 的隐藏状态本质区别
传统 RNN 将上下文压缩为固定大小的隐藏状态，但隐藏状态的表达能力有限，难以捕捉长序列中成千上万 token 的底层结构。TTT 的创新在于将隐藏状态等同于模型权重，通过自监督学习动态更新权重，从而让隐藏状态本身成为一个可学习的函数。这种设计使 TTT 在保持线性复杂度的同时，能够更有效地利用长上下文信息，突破了 RNN 在长序列上的性能瓶颈。
自监督压缩：TTT 如何平衡效率与质量
TTT 的核心方法是将历史上下文视为无标签数据集，通过自监督损失进行梯度下降来更新隐藏状态（即模型权重）。输出 token 是对当前输入的预测，更新规则基于重建或去噪任务，让模型学会记住产生大梯度的输入。这种压缩方式既保持了每个 token 的恒定计算成本，又通过权重更新捕捉了 token 间的潜在关系，从而在长上下文中兼顾了效率与质量。
TTT 的潜在优势与待验证问题
TTT 在长上下文场景下展现出潜力，其线性复杂度在序列长度超过 8k 后价值显著。然而，文章也指出，梯度下降虽能减少自监督损失，但无法将其降为零，这意味着压缩过程存在信息损失。此外，TTT 的更新规则和输出规则的具体设计、训练稳定性以及对不同任务的泛化能力，仍需进一步实验验证。读者应关注其实际部署中的计算开销与效果权衡。
Q&A
TTT模型的主要目标是什么？
TTT模型旨在将长上下文压缩为固定大小的隐藏状态。
TTT如何克服RNN在长上下文中的局限性？
TTT能够有效捕捉标记之间的底层结构和关系，从而克服RNN的局限性。
TTT使用什么方法进行训练？
TTT通过自监督学习将历史上下文压缩为隐藏状态，并基于自监督损失更新权重进行训练。
TTT的隐藏状态有什么特点？
TTT的隐藏状态等同于模型的权重，可以是线性模型或小型神经网络。
TTT在处理长上下文时的效率如何？
TTT在压缩长上下文的同时保持了效率和质量，展现了有希望的结果。
TTT的输出token是如何生成的？
输出token是对输入的预测，使用更新后的权重进行生成。
