基于可解模型的点积注意力中位置和语义学习之间的相变
内容提要
该综述涵盖注意力机制的多项研究：提出高效注意力用于检测与分割；从粒子系统角度证明Transformer表示收敛并出现“leader”；探讨卷积与自注意力融合；用凸对偶分析自注意力归纳偏差；研究令牌分离与最大边缘解；提出稀疏注意力用于图像布局；揭示自注意力与SVM等价；指出小特征谱方差可防秩熵崩溃；提出DFPQ查询设计，在ADE20K和Cityscapes达SOTA；并比较软硬注意力及混合损失。
延伸解读
理论突破：从粒子系统到低秩收敛
文章将Transformer视为相互作用的粒子系统，证明当权重不随时间变化时，表示中的粒子会聚集到特定极限对象，且自注意力矩阵收敛于低秩布尔矩阵。这从数学上解释了Vaswani等人观察到的“leader”现象，为理解Transformer的表示学习提供了新视角。
自注意力与SVM的等价性及其影响
文章指出自注意力机制与SVM问题存在形式上的等价性，这对训练方向和全局优化有重要影响。这种等价性意味着自注意力的训练可能继承SVM的优化特性，如最大边缘解，从而为设计更稳定的注意力机制提供理论指导。
特征谱方差：防止秩熵崩溃的关键
针对注意力机制中秩坍缩和熵崩溃的矛盾，文章通过分析查询-键参数矩阵的特征谱，揭示小特征谱方差能防止秩和熵的崩溃，进而提高模型的表达能力和可训练性。这一发现为理解注意力机制的学习动态提供了新见解。
DFPQ查询设计：动态聚焦提升分割性能
DFPQ基于前一个解码器块的跨注意力得分和图像特征的位置编码动态生成位置查询，并聚合上下文令牌以执行局部关系聚合。在ADE20K和Cityscapes数据集上，该方法在Mask2former基础上实现SOTA，不同骨干网络的mIoU均有提升，展示了动态查询设计的有效性。
Q&A
Transformer中的注意力机制为什么会出现“leader”现象？
将Transformer视为相互作用的粒子系统，当权重不随时间变化时，学习表示的粒子会随时间趋于无穷聚集到特定极限对象，该对象取决于值矩阵的谱；在一维情况下，自注意力矩阵收敛于低秩布尔矩阵，从而在数学上证实了“leader”的出现。
自注意力机制和SVM有什么等价关系？
自注意力机制和SVM问题之间存在形式上的等价性，这种等价性对训练方向和全局优化有影响。
小特征谱方差如何影响自注意力模型的性能？
通过特征化查询-键参数矩阵的特征谱，发现小特征谱方差可以防止秩坍缩和熵崩溃，从而提高模型的表达能力和可训练性。
DFPQ查询设计方法是什么？它在哪些数据集上取得了SOTA？
DFPQ（Dynamic Focus-aware Positional Queries）是一种基于前一个解码器块的跨注意力得分和相应图像特征的位置编码动态生成位置查询的方法，同时通过仅基于低分辨率跨注意力分数聚合上下文令牌以执行局部关系聚合。在ADE20K和Cityscapes数据集上，基于Mask2former实现了SOTA，且ResNet-50、Swin-T和Swin-B在ADE20K验证集上的单尺度mIoU分别优于Mask2former 1.1%、1.9%和1.1%。
卷积和自注意力在自然语言任务中有什么关系？
该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用BERT在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。
注意力机制有哪几种潜在变量边际可能性？混合方法有什么优点？
关注模型有三种不同的潜在变量边际可能性（LVML）：软关注、硬关注和软关注损失。使用这些范例学到的模型具有独特特征，而一种简单的混合方法结合了不同损失函数的优点。
