FAST: 可因子化注意力提升 Transformer 速度
内容提要
该文综述高效Transformer技术，以解决自注意力二次复杂度对长序列的限制。涵盖FlashAttention及其稀疏扩展、Fastformer加法注意力、层次矩阵注意力、Sparse Transformers、线性注意力、门控线性注意力GLA及Linformer等，通过稀疏化、线性化和核方法降低时间与内存复杂度，在保持性能的同时提升长文本处理效率。
延伸解读
高效 Transformer 的优化路径
文章综述了多种高效 Transformer 技术，核心目标都是降低自注意力 O(n^2) 的复杂度。这些方法可归纳为稀疏化、线性化和核方法等路径。例如，FlashAttention 及其稀疏扩展通过优化计算和引入稀疏模式提升效率；Fastformer 采用加法注意力实现线性复杂度；Linformer 通过近似将复杂度降至 O(n)。这些技术从不同角度缓解了长序列处理的瓶颈。
性能与效率的平衡
在提升效率的同时，这些方法大多注重保持模型性能。FlashAttention 的稀疏扩展在序列长度增加时改进性能，且不牺牲困惑度；层次矩阵注意力在 Long Range Arena 上平均提高 6 个百分点，并在 One-Billion Word 数据集上取得新的 SOTA 困惑度；Sparse Transformers 在 Enwik8、CIFAR-10 和 ImageNet-64 上创造了最优表现。这表明高效 Transformer 可以在不显著损失性能的前提下提升速度。
实际应用中的选择考量
不同方法适用于不同场景。FlashAttention 及其扩展针对训练速度优化，在 8k 和 16k 序列上分别实现 2.0 倍和 3.3 倍加速；Fastformer 适合长文本建模；GLA 通过门控机制在训练速度上与 FlashAttention-2 媲美。读者需根据任务需求（如序列长度、硬件条件）选择合适技术，并注意其复杂度与实现细节。
Q&A
Transformer 自注意力的二次复杂度问题是什么？
自注意力的二次复杂度限制了 Transformer 模型处理长序列的能力，因为计算和内存需求随序列长度平方增长。
Fastformer 如何实现线性复杂度？
Fastformer 基于加法注意力机制，通过加性操作建模长文本，从而将复杂度降低到线性。
FlashAttention 的稀疏扩展有什么效果？
扩展 FlashAttention 以支持稀疏注意力模式（如关键/查询删除和基于哈希的注意力），在序列长度增加时提升性能，训练速度提高 2.0 倍和 3.3 倍（序列长度 8k 和 16k），且不牺牲困惑度。
Linformer 如何降低自注意力的复杂度？
Linformer 通过近似自注意力矩阵，将时间和空间复杂度从 O(n^2) 降低到 O(n)。
门控线性注意力（GLA）有什么特点？
GLA 引入数据依赖的门控机制，具有硬件高效的并行形式，在语言建模中表现竞争力，训练速度与 FlashAttention-2 相当。
层次矩阵注意力方法在哪些任务上有效？
层次矩阵注意力方法在自然语言和视觉任务中有效捕捉层次结构，在 Long Range Arena 基准上平均提高 6 个百分点，并在 One-Billion Word 数据集上取得新的 SOTA 测试困惑度。
