LLMs 是优秀的手语翻译器

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了STMC-Transformer翻译系统,提高了PHOENIX-Weather 2014T数据集的翻译质量,并指出了当前方法中的问题。建议未来的SLT研究采用端到端的训练方法或使用不同的手语注释方式。

🎯

关键要点

  • 本研究提出了STMC-Transformer翻译系统。
  • STMC-Transformer在PHOENIX-Weather 2014T数据集的亮度-文本翻译和视频-文本翻译方面分别提高了5和7 BLEU。
  • 在ASLG-PC12数据集上,STMC-Transformer也提高了超过16 BLEU。
  • 当前方法存在问题,依赖于gloss监督导致SLT表现不佳。
  • gloss被认为是手语的低效表示方法。
  • 建议未来的SLT研究采用端到端的训练方法或使用不同的手语注释方式。
➡️

继续阅读