为什么线性注意力要加Short Conv？
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
在线性注意力模型中加入短卷积（Short Conv）是为了增强模型的表达能力，弥补线性化带来的性能下降。通过TTT（在线学习）框架，模型能够有效压缩信息，提高学习效果，避免“自我预测”的局限性。
🎯
关键要点
- 在线性注意力模型中加入短卷积（Short Conv）是为了增强模型的表达能力。
- 短卷积补偿了线性化带来的性能下降，增加了模型的深度和Token-Mixing能力。
- TTT（在线学习）框架通过优化器更新与RNN迭代的相似性，构建了线性Attention模型。
- TTT将键值对视为成对的语料，通过训练模型来压缩信息。
- TTT的灵活性高，可以构建复杂的RNN模型，适用于不同的优化器和损失函数。
- TTT的核心任务是利用训练模型来实现键值对的压缩。
- 如果键值完全重合，TTT框架可能失效，因为模型无法学习有效信息。
- 在一般的Attention机制中，键值来自同一输入，导致可学信息有限。
- 改进TTT的方法是避免“预测自己”，而是“预测周围”的上下文。
- 通过将键的历史信息混合，使用短卷积可以将训练目标转化为NTP任务。
- 给键加入短卷积显著提升了模型性能，而对查询和值的影响较小。
❓
延伸问答
线性注意力模型中加入短卷积的主要目的是什么？
主要目的是增强模型的表达能力，补偿线性化带来的性能下降。
TTT框架在短卷积中的作用是什么？
TTT框架通过优化器更新与RNN迭代的相似性，帮助模型有效压缩信息，提高学习效果。
短卷积如何提高模型的Token-Mixing能力？
短卷积增加了模型的深度，使得信息混合更加有效，从而提升Token-Mixing能力。
如果键值完全重合，TTT框架会有什么问题？
TTT框架可能失效，因为模型无法学习有效信息，导致输出平凡解。
如何改进TTT以避免“预测自己”的问题？
可以通过将键的历史信息混合，采用NTP任务来进行预测，从而避免“预测自己”。
给查询和值加入短卷积的效果如何？
虽然对查询和值加入短卷积也有一定作用，但提升效果远不如给键加入短卷积显著。
➡️
