本文综述多种高效注意力机制：FlashAttention通过分块减少HBM与SRAM读写，提升Transformer速度并支持长上下文，后续扩展至稀疏注意力，训练提速2至3.3倍；另有研究将复杂度降至O(N)，或提出HyperAttention、Fast Multipole Attention、Routing Transformer、Linformer等，在保持性能的同时降低时间与内存开销，加速长序列推理。