本文介绍了计算机视觉领域的新趋势：视觉Transformer和掩蔽的图像建模(MIM)，通过引入注意力引导掩蔽(AttMask)策略，提高了MIM和基于蒸馏的自监督学习的效果，实验证明AttMask加速了学习过程并提高了性能。

本文介绍了计算机视觉领域的新趋势：视觉Transformer和掩蔽的图像建模(MIM)。通过引入注意力引导掩蔽(AttMask)策略，证明其在基于蒸馏的MIM和分类记号的自监督学习上比随机掩蔽更有效。实验证明，AttMask加速了学习过程并提高了性能。