对比学习的数据增强是对正激励噪声的估计
原文中文,约500字,阅读约需2分钟。发表于: 。本研究解决了对比学习中噪声的可靠性问题,提出了正激励噪声(Pi-Noise)与对比学习之间的联系。通过定义任务熵并将标准对比学习中的数据增强视为Pi-Noise的点估计,提出了新的框架,用于生成有益的噪声作为数据增强,具有广泛的适用性和有效性。
该研究通过对比学习(CL)揭示了其对采样偏差具有内在的容忍度,并借助分布鲁棒优化(DRO)的视角填补了现有理论无法解释这一现象的研究空白。研究发现CL实质上是在负采样分布上进行DRO,从而在各种潜在分布中实现鲁棒性,并表现出对采样偏差的鲁棒性。温度τ的设计不仅仅是启发式的,而且起到拉格朗日系数的作用,调节潜在分布集合的大小。研究还建立了DRO和互信息之间的理论联系,并提出了一种新的基于φ-散度的广义互信息估计方法。研究还确定了CL的潜在缺点,并引入了一种新颖的调整的InfoNCE损失(ADNCE)来减轻这些问题。实验证实了该方法在多个领域的有效性。