$f$-MICL:理解和推广基于 InfoNCE 的对比学习
原文中文,约300字,阅读约需1分钟。发表于: 。该研究论文通过将 KL-based mutual information 推广为 $f$-Mutual Information in Contrastive Learning ($f$-MICL),使用 $f$-divergences,并设计了一种更好的 Gaussian 相似度来回答两个问题:是否可以超越基于 KL 的目标函数?除了流行的 cosine...
本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果,并将核心距离更改为常见的挑战导致的原因。通过引入广义相互信息 (GEMINI) 来推广相互信息,它是一组用于无监督神经网络训练的指标。GEMINI 可以自动选择相关的聚类数目,这是在深度判别聚类上很少研究的一个特性。