科学空间|Scientific Spaces · 2026-07-21T13:21:00Z

将Softmax Attention线性化为Gated DeltaNet

📝

内容提要

在文章《LogSumExp和Softmax的泰勒展开》中，我们介绍了LogSumExp和Softmax的近似展开，并由此得到了一种线性化Softmax Attention的简单方案。但在那篇文章...