通过研究轻量级视觉Transformer（ViTs）的预训练方法，发现MIM预训练在高层学习和数据不足下游任务中表现不佳。提出了预训练退火策略来解决这一问题，并证明了其在不同视觉任务中的有效性。