通过分布式鲁棒优化理解对比学习
原文中文，约600字，阅读约需2分钟。发表于：。该研究通过分析对比学习（CL）揭示了其对采样偏差具有内在的容忍度，并借助分布鲁棒优化（DRO）的视角填补了现有理论无法解释这一现象的研究空白，得出几个关键见解：（1）CL 实质上是在负采样分布上进行 DRO，从而在各种潜在分布中实现鲁棒性，并表现出对采样偏差的鲁棒性；（2）温度 τ 的设计不仅仅是启发式的，而且起到拉格朗日系数的作用，调节潜在分布集合的大小；（3）DRO...
该研究揭示了对比学习（CL）对采样偏差具有内在的容忍度，并通过分布鲁棒优化（DRO）的视角填补了现有理论无法解释这一现象的研究空白。研究发现，CL 实质上是在负采样分布上进行 DRO，从而在各种潜在分布中实现鲁棒性。研究还提出了一种新的基于 φ- 散度的广义互信息估计方法，并引入了一种新颖的调整的 InfoNCE 损失（ADNCE）来减轻 CL 的潜在缺点。实验证实了该方法的有效性。
