多边匹配间隙下的多重表示对比
原文英文，约300词，阅读约需2分钟。
📝
内容提要
机器学习中，学习多个视图的复杂对象的有意义表示是核心任务。本文提出了多边匹配间隙（M3G），利用多边最优传输（MM-OT）理论工具同时结合所有视图的损失。实验结果显示，M3G 在自监督和多模态任务中比成对损失的多视图扩展具有更好的性能。
🔎
延伸解读
多视图表示学习的挑战
多视图表示学习需要同时处理三个或更多视图，但现有方法大多基于成对损失，通过实例化所有视图对或使用平均策略来扩展。这种扩展方式可能无法充分利用所有视图间的联合信息，导致表示质量受限。
M3G的核心思想
M3G利用多边最优传输理论，直接对比真实k元组匹配成本与最优多匹配成本。它同时考虑所有视图，避免了成对扩展的局限性，旨在学习更一致的表示。
计算可行性与扩展
尽管多边最优传输问题理论复杂度高，但实验表明，适当的Sinkhorn算法变体可以处理3至6个视图，小批量大小64至128。这为实际应用提供了可行性。
性能优势与适用场景
在自监督和多模态任务中，M3G优于成对损失的多视图扩展。这表明直接建模所有视图的联合匹配能带来更好的表示学习效果，尤其适用于视图数量较多的场景。
❓
Q&A
什么是多边匹配间隙（M3G）？
多边匹配间隙（M3G）是一种损失函数，利用多边最优传输理论工具同时结合多个视图的损失。
M3G与传统的成对视图损失有什么不同？
M3G不同于传统的成对视图损失，它同时考虑所有视图的损失，而不是仅扩展成对视图的方法。
M3G在实验中表现如何？
实验结果显示，M3G在自监督和多模态任务中优于成对损失的多视图扩展。
多边最优传输（MM-OT）在M3G中起什么作用？
MM-OT为M3G提供了理论基础，使其能够同时处理多个视图的匹配成本。
M3G的复杂度如何？
尽管MM-OT问题的复杂度较高，但实验表明适当的Sinkhorn算法可以扩展到3至6个视图。
M3G适用于哪些任务？
M3G适用于自监督和多模态任务。
🏷️
