在文章《LogSumExp和Softmax的泰勒展开》中，我们介绍了LogSumExp和Softmax的近似展开，并由此得到了一种线性化Softmax Attention的简单方案。但在那篇文章...

最近看到论文《The Key to Going Linear: Analysis-Driven Transformer Linearization》里边直接对Softmax做近似展开来线性化At...

本文讨论了softmax和LayerNorm等内存绑定算子的优化方法。softmax通过减去最大值来避免数值溢出，在线softmax则通过增量维护最大值和总和来减少遍数。LayerNorm采用Welford算法进行单遍均值和方差计算。逐元素融合技术将多个操作合并为一个kernel，显著减少访存次数，提高性能。整体优化策略强调数值稳定性和减少访存。

FlashAttention通过分块在线softmax优化Transformer的注意力机制，显著降低显存和计算速度瓶颈。它采用流式计算，避免物化整个分数矩阵，减少内存访问，提高效率。实测表明，FlashAttention在长序列处理上具有显著优势，并在反向传播时通过重算降低显存需求。

本文探讨了softmax函数在深度学习中的重要性及其数学原理。softmax用于分类模型的输出层和注意力机制，将任意实数向量转换为合法的概率分布，具有平移不变性和可微性。通过指数变换，softmax确保相对分数的差异决定概率比例。文章还讨论了softmax的数值稳定性、温度调节及其与交叉熵的结合，强调了其在模型训练和推理中的应用。

本文探讨了在Transformer模型中将点积结果除以√d_k的原因。这一操作旨在避免softmax函数饱和，确保梯度有效传播。通过数学推导，证明了点积的方差为d_k，缩放后方差归一化为1，从而保持训练的稳定性。文章还讨论了不同维度下的训练效果及现代优化器如何与√d_k的设计结合，以提升模型性能。

本文探讨了注意力机制的原理，强调其源于认知心理学与神经科学。注意力是处理信息的方式，涉及动态分配权重。人类的注意力是“软”的，允许同时关注多个信息。机器翻译中的对齐问题促使了软对齐的出现，注意力机制通过加权平均实现信息提取。softmax是实现可微选择的关键，注意力机制广泛应用于多个领域，而非仅限于Transformer。

本文深入探讨了Transformer模型中的查询（Q）、键（K）、值（V）机制。Q、K、V的分离设计使模型能够独立优化索引和内容，从而提升表达能力。通过softmax函数，模型实现了基于相似度的加权检索，促进信息的有效融合。文章还分析了Q/K/V的几何意义及其在自注意力中的应用，强调了缩放因子√d_k的重要性，以避免softmax饱和。

本文详细解析了Softmax损失的数学推导，重点在于线性分类器的梯度计算。通过前向传播和反向传播，推导出损失对logits、权重和偏置的梯度，并利用链式法则简化矩阵运算，帮助理解分类网络如何从错误中学习。

在线安全softmax是一种高效且数值稳定的算法，用于计算softmax函数。它通过同时计算输入流的最大值和归一化器，减少内存读取，提高性能，适用于多种下游算法。

本研究提出了FLASH-D，一种改进的变换器注意力机制，通过将Softmax计算与矩阵运算结合，显著提高了计算效率，降低了硬件面积和功耗，具有实际应用潜力。

本研究提出RADLADS协议，快速将softmax注意力变换器转换为线性注意力解码器，解决传统模型效率不足的问题。该方法使用350-700M个token，保持推理质量，实现显著的成本效益，并在标准基准测试中表现优异。

本研究探讨了自注意力模型在序列映射中的普适逼近性，证明了两层自注意力和一层自注意力后接softmax函数能够逼近任意连续函数。

本研究针对传统Transformer模型在长上下文语言建模中性能不足的问题，提出了一种新颖的“遗忘注意力”机制，通过数据依赖的方式对未归一化的注意力得分进行下调，从而构建“遗忘变压器”（FoX）。研究发现，FoX在长上下文任务上优于传统Transformer，并在不需要位置信息的情况下，兼容FlashAttention算法，显著提升了模型在短上下文下游任务的表现。

本研究提出了AdaSplash方法，旨在解决变压器模型中softmax注意力机制在长上下文任务中的计算成本问题，通过结合GPU优化和自适应稀疏性，显著提高了运行时间和内存效率。

本研究分析了大语言模型中的异常值问题，定义并分类了三种异常值，探讨其与注意力机制的关系。研究发现，异常值由softmax操作引起，作为上下文感知缩放因子，消除异常值可加速收敛并改善模型压缩。