Kimi开源的线性注意力架构首次超越全注意力模型，推理速度提升6倍，KV缓存减少75%。其核心创新Kimi Delta Attention引入细粒度遗忘门控，确保长上下文中的稳定性。该模型在多个基准测试中表现优异，标志着AI架构进入多元创新时代。

在线性注意力模型中加入短卷积（Short Conv）是为了增强模型的表达能力，弥补线性化带来的性能下降。通过TTT（在线学习）框架，模型能够有效压缩信息，提高学习效果，避免“自我预测”的局限性。

本研究提出RADLADS协议，快速将softmax注意力变换器转换为线性注意力解码器，解决传统模型效率不足的问题。该方法使用350-700M个token，保持推理质量，实现显著的成本效益，并在标准基准测试中表现优异。

本研究提出LASP-2序列并行方法，优化线性注意力的右乘特性，显著提升长序列训练的通信和计算并行性，训练速度比LASP快15.2%，比环形注意力快36.6%。

本研究提出了一种线性注意力方法L$^2$ViT，旨在解决视觉变换器在高分辨率图像应用中的时间和内存复杂性问题。该架构在保持线性计算复杂度的同时，有效捕捉全局和局部特征，实验结果显示其在图像分类任务中达到84.4%的Top-1准确率。

本研究探讨了线性注意力与Softmax注意力之间的性能差距，提出理论分析，指出提升线性注意力的注入性和局部建模能力可以降低计算复杂度，从而超越Softmax注意力。

本研究提出了一种创新的秩增强视觉线性变换器（RAVLT），通过改进线性注意力机制，在多个视觉任务中表现优异，尤其在ImageNet-1k上达到了84.4%的准确率。

该论文介绍了一种名为Lightning Attention-2的方法，能够实现线性注意力。通过利用平铺技术和GPU硬件，该方法提高了训练和推理速度，比其他注意力机制更快。