无手势标注的手语翻译与检索中的内容与上下文表示学习

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本论文介绍了一种名为SignCL的对比学习策略,用于改善手语翻译系统的性能。实验证明,SignCL能够显著减少表示密度,并在各种翻译框架上提高性能。与最先进的方法相比,SignCL只使用了35%的参数,并获得了更好的性能。

🎯

关键要点

  • 论文介绍了一种名为SignCL的对比学习策略,用于改善手语翻译系统的性能。
  • 表示密度问题是妨碍手语翻译系统性能的瓶颈。
  • SignCL通过自我监督的方式改善了特征表示的可区分性。
  • 实验证明,SignCL显著减少了表示密度,并在各种翻译框架上提高了性能。
  • 在CSL-Daily数据集上,SignCL使得手语变形器和GFSLT-VLP的BLEU得分分别提高了39%和46%。
  • SignCL在不增加模型参数的情况下,使用了基于大规模预训练视觉和语言模型的最先进方法Sign2GPT的35%的参数,并获得了更好的性能。
➡️

继续阅读