我们能否摆脱自我监督学习中的强数据增强?
原文中文,约400字,阅读约需1分钟。发表于: 。自我监督学习(SSL)作为应对深度神经网络(DNNs)中有限标记数据挑战的一种有前途的解决方案,具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为,揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解,我们提出了一种集成先验知识的新学习方法,旨在减少对大量数据增强的需求,从而增强学习表示的有效性。尤其值得注意的是,我们的发现表明,富含先验知识的 SSL...
自我监督学习(SSL)是解决DNNs有限标记数据挑战的有前途的解决方案,集成先验知识的SSL模型在数据增强中表现出较小的纹理偏差,对快捷方式和增强技术的依赖减弱,并且对自然和对抗性破坏具有改进的鲁棒性。这些发现为SSL研究指明了新的方向,并提高了DNN性能和可扩展性。