用于预训练小型基础模型的非对称遮蔽蒸馏
原文中文，约300字，阅读约需1分钟。发表于：。通过非对称蒙版蒸馏 (AMD) 框架，以无监督学习为基础的相对较小视觉变换器模型能够高效适应下游任务，提高分类准确率和性能表现。
本文介绍了一种基于掩码图像建模的MAE-lite pre-training方法，用于轻量级ViTs的pre-training。通过与其他方法进行对比，分析了该方法的影响，并揭示了pre-trained模型在数据充足的下游任务中的重要作用。同时，开发了一种distillation策略来提高pre-trained representations，从而实现更好的性能。
