Gloss2Text: 使用 LLMs 和语义感知标签平滑的手语标记翻译

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们的研究在手语翻译中使用预训练的语言模型、数据增强和新的损失函数,取得了显著的性能提升。这为手语翻译领域的研究和发展提供了有效的方法和有前景的方向。

🎯

关键要点

  • 研究利用预训练的大型语言模型(LLMs)进行手语翻译。
  • 采用数据增强和新的标签平滑损失函数。
  • 专注于中间注释视频中的Gloss2Text翻译阶段。
  • 在PHOENIX Weather 2014T数据集上进行广泛实验和消融研究。
  • 研究成果显著提升了手语翻译的性能。
  • 为手语翻译领域的研究和发展提供了有效的方法和前景方向。
➡️

继续阅读