迭代原型的手语翻译
原文中文,约300字,阅读约需1分钟。发表于: 。该论文介绍了 IP-SLT,这是一个简单而有效的手语翻译框架,通过迭代改善方式,增强了输入手语视频的语义表达(原型)。通过特征提取、原型初始化和迭代原型改进,IP-SLT 能够准确理解手语,并将其流畅和恰当地翻译成文本。
本研究提出了任务感知的指令网络TIN-SLT,用于手语翻译。通过引入指令模块和特征融合策略到Transformer网络中,利用预训练模型的语言能力提高翻译性能。同时,通过多级数据增强方案调整训练集的数据分布。在PHOENIX-2014-T和ASLG-PC12数据集上进行实验,方法在BLEU-4方面的表现优于以前的解决方案。