无手势标注的手语翻译与检索中的内容与上下文表示学习
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本论文介绍了一种名为SignCL的对比学习策略,用于改善手语翻译系统的性能。实验证明,SignCL能够显著减少表示密度,并在各种翻译框架上提高性能。与最先进的方法相比,SignCL只使用了35%的参数,并获得了更好的性能。
🎯
关键要点
- 论文介绍了一种名为SignCL的对比学习策略,用于改善手语翻译系统的性能。
- 表示密度问题是妨碍手语翻译系统性能的瓶颈。
- SignCL通过自我监督的方式改善了特征表示的可区分性。
- 实验证明,SignCL显著减少了表示密度,并在各种翻译框架上提高了性能。
- 在CSL-Daily数据集上,SignCL使得手语变形器和GFSLT-VLP的BLEU得分分别提高了39%和46%。
- SignCL在不增加模型参数的情况下,使用了基于大规模预训练视觉和语言模型的最先进方法Sign2GPT的35%的参数,并获得了更好的性能。
➡️