线性时间变压器的潜在注意力
内容提要
本文综述多种线性Transformer改进方案：transNormer通过稳定梯度提升性能；FLASH利用门控注意力加速；Linformer将复杂度降至O(n)；线性对数正态注意力优于其他线性方案；GLA引入门控线性注意力；LongNet用扩张注意力处理超长序列；Luna以嵌套线性注意力逼近Softmax；Lightning Attention-2实现线性注意力的理论优势。
延伸解读
线性注意力的效率与性能权衡
文章综述的多种线性Transformer方案，核心目标是将自注意力的复杂度从O(n²)降至O(n)，以提升长序列处理效率。例如Linformer通过近似注意力矩阵降低复杂度，Lightning Attention-2则利用平铺技术和GPU硬件实现理论计算优势。然而，这些方法在效率提升的同时，往往需要在性能上做出妥协，如Luna用嵌套线性注意力逼近Softmax，试图缩小与标准注意力的差距。读者需关注不同方案在具体任务上的表现差异。
门控机制成为改进焦点
FLASH和GLA均引入了门控机制来改进线性注意力。FLASH使用门控注意力单元，在短序列和长序列上达到改良的分词结果，并显著提升训练速度；GLA则通过数据依赖的门控机制，开发硬件高效的并行形式，在语言建模中表现竞争力，训练速度与FlashAttention-2相当。这表明门控机制是平衡效率与性能的有效手段，但具体实现和适用场景需进一步考察。
超长序列处理的新思路
LongNet通过扩张注意力扩展序列长度，能够处理超过10亿个标记的序列，同时不牺牲短序列性能。这为需要处理极长文本的任务提供了可能，但扩张注意力的具体效果和计算开销需结合任务评估。此外，Luna和Lightning Attention-2也针对长序列建模进行了优化，读者可根据序列长度和资源限制选择合适的方案。
Q&A
transNormer 是如何改进线性 Transformer 的性能的？
transNormer 通过稳定梯度和改善注意力机制来解决现有线性 Transformer 的性能问题，在文本分类、语言建模任务以及 Long-Range Arena 基准测试中表现出更优异的性能，同时更加高效。
FLASH 模型在训练速度上有哪些提升？
FLASH 使用门控注意力单元和线性近似方法，在 Wiki-40B 和 PG-19 的自回归语言模型上训练速度最多提升了 4.9 倍，在掩蔽语言模型上提升了 4.8 倍。
Linformer 如何将自注意力的复杂度降低到 O(n)？
Linformer 通过近似自注意力矩阵，将自注意力机制的时间和空间复杂度从 O(n^2) 降低为 O(n)，从而显著提高了 Transformer 模型的内存和时间效率。
线性对数正态注意力相比其他线性注意力方案有什么优势？
线性对数正态注意力通过分析自注意力矩阵分布和专注能力，在流行的自然语言基准测试中优于其他线性注意力替代方案，为提高 Transformer 模型的可扩展性提供了有前景的途径。
GLA 门控线性注意力在训练速度上表现如何？
GLA 通过引入数据依赖的门控机制和硬件高效的并行形式，在适度规模的语言建模中表现竞争力，训练速度与基于 CUDA 优化的 FlashAttention-2 相媲美。
LongNet 的扩张注意力能处理多长的序列？
LongNet 引入扩张注意力来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。
Luna 如何用线性注意力逼近 Softmax 注意力？
Luna 使用两个嵌套的线性注意力函数来逼近 Softmax 注意力机制，实现了仅线性时间和空间复杂度，在长序列建模、神经机器翻译和大规模预训练掩码语言建模等领域性能优异且高效。
Lightning Attention-2 实现了什么理论优势？
Lightning Attention-2 是首个能实现线性注意力的理论计算优势的线性注意力实现方法，通过利用平铺技术和 GPU 硬件，在不同模型尺寸和序列长度上训练和推理速度一致，并且比其他注意力机制更快。
