Transformer 在屏蔽图像建模中证明能够学习特征 - 位置相关性
内容提要
遮蔽图像模型（MIM）与监督预训练模型的关键差异在于：MIM能在各层引入位置归纳偏差并保持多样性，在弱语义或细粒度分类中表现优异。研究提出注意力引导遮蔽、A²MIM、位置预测预训练、动态令牌变形、随机正交投影等改进方案，并探索与对比学习、监督训练的融合，在分类、检测、分割等下游任务中取得可比或更优性能。
延伸解读
MIM 与监督预训练的核心差异
文章指出，遮蔽图像模型（MIM）与监督预训练的关键区别在于，MIM 能在所有层引入位置归纳偏差并保持各层多样性。这种特性使 MIM 在弱语义或细粒度分类任务中表现更优，而监督模型可能因过度依赖高层语义而忽略细节。理解这一点有助于根据任务特点选择合适的预训练方式。
注意力引导遮蔽的改进思路
针对随机遮蔽可能生成过于简单的预文本任务，文章提出注意力引导遮蔽（AttMask），利用教师 Transformer 的注意力图指导学生模型的遮蔽位置。这种方法在基于蒸馏的 MIM 和自监督学习中均优于随机遮蔽，能加速学习并提升下游任务性能，为 MIM 的遮蔽策略设计提供了新方向。
位置预测预训练的价值
文章介绍了一种基于位置预测的 Transformer 自监督预训练策略，可提升 NLP、语音和视觉领域的性能，并使不使用位置嵌入的 Transformer 超越使用完整位置信息的模型。这表明位置信息可以通过预训练任务隐式学习，减少对显式位置嵌入的依赖，为模型设计提供更大灵活性。
MIM 与其他自监督方法的融合
文章探讨了 MIM 与对比学习、监督训练的融合。例如，ConMIM 在图像块级别结合对比学习去噪自编码，而将 MIM 集成到监督训练中可改善分类、检索和分割的表示质量。这些融合方法能互补优势，在多个下游任务上取得竞争性结果，提示未来自监督学习可走向多方法协同。
Q&A
遮蔽图像模型（MIM）和监督式预训练模型的关键区别是什么？
MIM可以在所有训练模型的层上引入位置归纳偏差并保持所有层的多样性，从而在较弱语义或细粒度分类任务中表现出色。
注意力引导遮蔽（AttMask）是什么？它有什么优势？
AttMask是一种新的遮蔽策略，利用教师Transformer编码器生成的关注图来指导学生模型的遮蔽。它比随机遮蔽效果更好，能加速学习过程并在各种下游任务中提高性能。
A²MIM框架有什么特点？它适用于哪些网络？
A²MIM是一种基于遮蔽图像建模的框架，可用于Transformers和CNNs网络。它通过研究补丁之间的相互作用，教授模型更好地处理中阶交互和提取通用特征，无需显式设计即可学习更好的表示，并增强骨干模型适应下游任务的能力。
基于位置预测的Transformer自监督预训练策略有什么效果？
该策略简单新颖，能提高NLP、语音和视觉领域的性能，并使不使用位置嵌入的Transformers超越使用完整位置信息的Transformers。
动态令牌变形（DTM）在掩码图像建模中有什么作用？
DTM是一种有前景的自监督学习方法，可应用于不同的SSL框架，在不引入额外训练成本的情况下有效改进表现，并经过多个实验证明其在各种下游任务上的可迁移性。
随机正交投影图像建模（ROPIM）与基于裁剪屏蔽的方法相比有何优势？
ROPIM使用随机正交投影而非二元屏蔽，能够在局部变化的屏蔽程度下屏蔽整个空间图像区域，并展现了与基于裁剪屏蔽的方法相比更优越的性能。
