本研究提出了一种统一框架RCMSTR，结合关系对比学习与掩码图像建模，解决场景文本识别中的语义先验利用问题。通过将文本元素间的关系重新解释为自监督标签，显著提升了表示学习质量，超越了现有自监督技术的识别性能。

本文探讨了基于掩码图像建模的MAE预训练方法（MAE-lite），分析其在轻量级视觉Transformer（ViTs）中的应用效果。研究表明，MIM在细粒度分类任务中表现优异，并提出了MIMDet检测器，显著提升了检测性能。通过特征蒸馏，增强了预训练方法的微调性能，强调了学习表示的普适性和可扩展性。

本文介绍了一种基于掩码图像建模的MAE-lite pre-training方法，用于轻量级ViTs的pre-training。通过与其他方法进行对比，分析了该方法的影响，并揭示了pre-trained模型在数据充足的下游任务中的重要作用。同时，开发了一种distillation策略来提高pre-trained representations，从而实现更好的性能。

本文介绍了一种基于掩码图像建模的MAE-lite pre-training方法，用于轻量级ViTs的pre-training，并分析了该方法的影响和pre-trained模型在数据充足的下游任务中的重要作用。同时，还开发了一种distillation策略来提高pre-trained representations的性能。