计算机视觉模型中背景偏差去除的遮盖策略

本文研究了Vision Transformers在分布偏移情况下的泛化问题，发现其在背景和纹理上学习的偏差较弱，而对形状和结构的归纳偏差较强。相比卷积神经网络，Vision Transformers在分布偏移情况下具有更好的泛化性能，准确度高出5%以上。作者提出了增强泛化性能的GE-ViTs，并设计了更平滑的学习策略以优化其性能。