HySparK：大规模医学图像的混合稀疏掩蔽预训练

BriefGPT - AI 论文速递 · 2024-08-11T00:00:00Z

本文介绍了一种创新的自监督学习方法，通过局部遮罩图像建模和渐进层冻结相结合，提高了Vision Transformers（ViTs）中初始层训练的效率和速度。该方法采用了多尺度重构过程，实现了高效学习和跨尺度的语义理解。实验结果表明，该方法在准确性最小影响的情况下，大幅减少了训练时间。该方法在计算资源和时间至关重要的场景中具有潜力，标志着计算机视觉领域自监督学习的进步。