音频视频领域的对比学习探索

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了Contrast and Mix(CoMix)的新对比学习框架,用于无监督视频领域适应学习。通过时间对比学习和背景混合,弥合领域差距,增加视频领域适应的语义分享。实验证明该方法的优越性。

🎯

关键要点

  • 本文介绍了Contrast and Mix(CoMix)的新对比学习框架。

  • CoMix旨在为无监督的视频领域适应学习提供判别不变性的特征表示。

  • 该方法通过时间对比学习和背景混合弥合领域差距,增加语义分享。

  • 时间对比学习最大化未标记视频在不同速度下的编码表示相似性。

  • 背景混合提出了一种用于时间对比性损失的新型扩展。

  • 使用目标伪标签集成有监督的对比性学习目标,增强可区分性。

  • 在多个基准数据集上进行的实验验证了该方法的优越性。

➡️

继续阅读