基于显著性的自适应遮蔽:强化预训练中的令牌动态性重新审视
📝
内容提要
SBAM 通过优先考虑标记的显著性,引入一种新颖且经济高效的方法,显著增强了基于掩膜图像建模的预训练性能,提供了针对每个数据样本的 ' 量身定制 ' 掩膜比例的自适应策略,并在 ImageNet-1K 数据集上显著提升了基于掩膜的预训练的最新方法。
➡️
SBAM 通过优先考虑标记的显著性,引入一种新颖且经济高效的方法,显著增强了基于掩膜图像建模的预训练性能,提供了针对每个数据样本的 ' 量身定制 ' 掩膜比例的自适应策略,并在 ImageNet-1K 数据集上显著提升了基于掩膜的预训练的最新方法。