随机层级洗牌:提升Vision Mamba训练的有效实践
📝
内容提要
本研究解决了Vision Mamba模型过拟合的问题,并探索其如何有效扩展到更大的尺寸。通过提出随机层级洗牌正则化方法,我们成功将非层次化的Vision Mamba扩展至300M,且在ImageNet1k上相较于类似尺寸的监督ViT模型提高了分类准确率。该方法简单有效,增强了模型的泛化能力,具有潜在的广泛应用前景。
➡️