该综述涵盖注意力机制的多项研究：提出高效注意力用于检测与分割；从粒子系统角度证明Transformer表示收敛并出现“leader”；探讨卷积与自注意力融合；用凸对偶分析自注意力归纳偏差；研究令牌分离与最大边缘解；提出稀疏注意力用于图像布局；揭示自注意力与SVM等价；指出小特征谱方差可防秩熵崩溃；提出DFPQ查询设计，在ADE20K和Cityscapes达SOTA；并比较软硬注意力及混合损失。