本文综述多种线性Transformer改进方案：transNormer通过稳定梯度提升性能；FLASH利用门控注意力加速；Linformer将复杂度降至O(n)；线性对数正态注意力优于其他线性方案；GLA引入门控线性注意力；LongNet用扩张注意力处理超长序列；Luna以嵌套线性注意力逼近Softmax；Lightning Attention-2实现线性注意力的理论优势。

本文综述多种高效注意力机制：FlashAttention通过分块减少HBM与SRAM读写，提升Transformer速度并支持长上下文，后续扩展至稀疏注意力，训练提速2至3.3倍；另有研究将复杂度降至O(N)，或提出HyperAttention、Fast Multipole Attention、Routing Transformer、Linformer等，在保持性能的同时降低时间与内存开销，加速长序列推理。