多边匹配间隙下的多重表示对比

多边匹配间隙下的多重表示对比

💡 原文英文,约300词,阅读约需2分钟。
📝

内容提要

机器学习中,学习多个视图的复杂对象的有意义表示是核心任务。本文提出了多边匹配间隙(M3G),利用多边最优传输(MM-OT)理论工具同时结合所有视图的损失。实验结果显示,M3G 在自监督和多模态任务中比成对损失的多视图扩展具有更好的性能。

🎯

关键要点

  • 机器学习中,学习多个视图的复杂对象的有意义表示是核心任务。

  • 现有方法使用原本为成对视图设计的损失,并将其扩展到多个视图。

  • 本文提出了多边匹配间隙(M3G),利用多边最优传输(MM-OT)理论工具结合所有视图的损失。

  • M3G损失对比了真实的k视图与最佳多匹配的成本。

  • 尽管MM-OT问题的复杂度较高,但实验表明适当的Sinkhorn算法可以扩展到3至6个视图。

  • 实验结果显示,M3G在自监督和多模态任务中优于成对损失的多视图扩展。

➡️

继续阅读