本文介绍了计算机视觉领域的新趋势：视觉Transformer和掩蔽的图像建模(MIM)。通过引入注意力引导掩蔽(AttMask)策略，证明其在基于蒸馏的MIM和分类记号的自监督学习上比随机掩蔽更有效。实验证明，AttMask加速了学习过程并提高了性能。

本文介绍了视觉Transformer和掩蔽的图像建模(MIM)的新趋势，提出了一种新的掩蔽策略，称为注意力引导掩蔽(AttMask)，证明了它在密集的基于蒸馏的MIM以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。

本文介绍了视觉 Transformer 和掩蔽的图像建模在计算机视觉领域中的新趋势，提出了一种新的掩蔽策略，称为注意力引导掩蔽 (AttMask)，证明了它在密集的基于蒸馏的 MIM 以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。