图像掩蔽残差学习用于深度视觉 Transformer 的扩展

BriefGPT - AI 论文速递 · 2023-09-25T00:00:00Z

本文介绍了一种基于蒙版图像建模的框架A^2MIM，可用于Transformers和CNNs网络，通过对补丁之间的相互作用的研究，发现该方法可以教授模型更好地处理中阶交互和提取通用特征的能力，并通过实验证明了该方法可以在不需要显式设计的情况下学习到更好的表示，并赋予骨干模型更强的能力，以适应于不同的下游任务。