本文综述了线性注意力、RWKV和RetNet三种将Transformer复杂度从O(n²)降至O(n)的路径。它们用固定状态替代完整注意力，但存在表达力短板：关联检索任务需更大维度或数据依赖门控。理论复杂度不等于实际吞吐，需I/O感知kernel优化。这些模型各有取舍，混合架构或更接近实用。