迭代原型的手语翻译

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了任务感知的指令网络TIN-SLT,用于手语翻译。通过引入指令模块和特征融合策略到Transformer网络中,利用预训练模型的语言能力提高翻译性能。同时,通过多级数据增强方案调整训练集的数据分布。在PHOENIX-2014-T和ASLG-PC12数据集上进行实验,方法在BLEU-4方面的表现优于以前的解决方案。

🎯

关键要点

  • 本研究提出了一种任务感知的指令网络TIN-SLT,用于手语翻译。
  • 引入指令模块和特征融合策略到Transformer网络中,利用预训练模型的语言能力提高翻译性能。
  • 提出了一种多级数据增强方案来调整训练集的数据分布。
  • 在PHOENIX-2014-T和ASLG-PC12数据集上进行实验。
  • 方法在BLEU-4方面的表现优于以前的解决方案,分别提高了1.65和1.42。
➡️

继续阅读