TPAMI 2024 | ProCo: 无限contrastive pairs的长尾对比学习

TPAMI 2024 | ProCo: 无限contrastive pairs的长尾对比学习

💡 原文中文,约4000字,阅读约需10分钟。
📝

内容提要

清华大学的一篇论文介绍了长尾视觉识别中的新方法ProCo,通过对每类数据的分布进行建模和参数估计,并从中采样构建对比学习,解决了长尾数据集中样本不均衡的问题。实验结果显示,ProCo在长尾视觉分类、半监督学习、目标检测和平衡数据集上都取得了显著的性能提升。

🎯

关键要点

  • 清华大学提出了一种新的长尾对比学习方法ProCo,解决了长尾数据集中样本不均衡的问题。
  • ProCo通过对每类数据的分布建模和参数估计,构建对比学习,取得了显著的性能提升。
  • 研究者杜超群是清华大学自动化系的直博生,研究兴趣包括长尾学习和半监督学习。
  • ProCo方法在长尾视觉分类、半监督学习和目标检测等任务中均表现出色。
  • 对比学习的性能受contrastive pairs数量影响,ProCo通过建模类别分布来增加对比样本的数量。
  • ProCo使用von Mises-Fisher分布对特征进行建模,能够高效估计分布参数。
  • 研究者分析了ProCo的泛化误差界和超额风险界,验证了其有效性。
  • 实验结果显示,ProCo在不同batch size下均能取得最佳性能,优于其他对比学习方法。
➡️

继续阅读