在文章《LogSumExp和Softmax的泰勒展开》中，我们介绍了LogSumExp和Softmax的近似展开，并由此得到了一种线性化Softmax Attention的简单方案。但在那篇文章...

从《线性注意力简史：从模仿、创新到反哺》中我们可以看到，DeltaNet的并行形式涉及到了形如$(\boldsymbol{I} + \boldsymbol{K}\boldsymbol{K}^{\...

本文探讨了DeltaNet及其后续的L2归一化，强调其在优化中的重要性。通过微分方程的视角，提出了EFLA（无误线性注意力）新方法，展示了其在稳定性和性能上的优势。