一层 Softmax 注意力梯度流的隐性正则化
内容提要
本文研究了多头softmax注意力模型在多任务线性回归中的梯度流动动力学，发现梯度流的全局收敛性及“任务分配”现象。分析表明，梯度流经历热身、出现和收敛三个阶段，优化效果与最佳模型相当。此外，探讨了自注意力机制的隐式偏差及其在分类任务中的应用，提出了新的稀疏注意力机制，提升了模型的可解释性和性能。
延伸解读
梯度流三阶段：从热身到收敛
文章指出，多头softmax注意力模型的梯度流动力学可分为热身、出现和收敛三个阶段。热身阶段损失下降较慢，注意力头逐渐倾向于各自任务；出现阶段每个头选择一个任务，损失迅速降低；收敛阶段注意力参数趋于极限。这一过程揭示了模型如何从随机初始化逐步实现任务分配，为理解注意力机制的训练动态提供了新视角。
任务分配：多头注意力的专业化现象
文章证明，在梯度流动力学中会出现“任务分配”现象，即每个注意力头专注于解决多任务模型中的单个任务。这种专业化通过注意力权重的半奇特征值的相对大小决定，将参数空间动力学映射到谱域中的常微分方程。该现象解释了多头注意力如何通过分工提升多任务学习效率，并明确了单头与多头模型在上下文学习预测准确性上的严格区别。
隐式偏差与稀疏注意力机制
文章探讨了自注意力机制的隐式偏差，在二分类任务中训练固定线性解码器上的自注意力层，证明了全局收敛并量化了关注图的稀疏化速率。基于此，提出了一种新的稀疏注意力机制，融合现代结构惩罚，在文本蕴含、机器翻译等任务中表现良好，同时提升了可解释性。这些结果强化了自注意力与线性逻辑回归中隐式偏差的联系。
Q&A
多头softmax注意力模型的梯度流动动力学是如何研究的？
研究通过适当选择初始化，分析了多头softmax注意力模型在多任务线性回归中的梯度流动，确定了其全局收敛性。
梯度流动经历了哪些阶段？
梯度流动经历热身、出现和收敛三个阶段，分别对应损失减少的不同速度和注意力头的任务分配。
什么是“任务分配”现象？
“任务分配”现象指的是在梯度流动过程中，每个注意力头专注于解决多任务模型的单个任务。
新的稀疏注意力机制有什么优势？
新的稀疏注意力机制提升了模型的可解释性和性能，适用于分类任务。
自注意力机制的隐式偏差是什么？
自注意力机制的隐式偏差是指在训练过程中，模型可能会受到未显式定义的偏差影响，从而影响其性能。
研究结果对多头softmax注意力模型的优化有什么影响？
研究表明，梯度流在优化上的最佳性使得学习到的极限模型与最佳的多头softmax注意力模型相当，仅相差一个常数因子。
