本研究提出了一种自适应变换器架构(ADAT),旨在改善手语翻译系统在捕捉短期时序依赖性和训练效率方面的不足。ADAT通过门控机制增强特征提取,显著提高了手语到文本翻译的准确率,并减少了训练时间。
本研究提出了一种新方法,利用事件流辅助RGB摄像头捕捉手势数据,克服了手语翻译算法在光照和运动模糊下的局限性。通过收集15776个样本的数据集VECSL,提出了新的手语翻译框架M$^2$-SLT,并取得了先进的结果。
本研究开发了一个基于大型语言模型的框架,实现美国手语与印度手语的实时翻译,显著提升了手语用户的可及性,消除了交流障碍。
本研究提出了一种新架构Signformer,有效解决手语翻译中的资源消耗和实用性问题,显著提升了性能和效率,特别适合边缘AI应用,并大幅降低了参数需求。
我们开发了一种基于Transformer的模型,用于美国手语翻译。通过精确的手部姿势估计和新的损失项,提升了翻译准确性。采用两阶段推理方法,在ChicagoFSWild数据集上的性能提高了10%以上。
通过分解动作和深度学习,提出了一种新型混合架构,将口语到手语翻译拆分为独立子任务并联合训练。这种方法在小语料库中实现了更优的翻译效果。
我们的研究在手语翻译中使用预训练的语言模型、数据增强和新的损失函数,取得了显著的性能提升。这为手语翻译领域的研究和发展提供了有效的方法和有前景的方向。
本研究提出了一种任务感知的指令网络,用于手语翻译。通过引入指令模块和特征融合策略,利用预训练模型的语言能力提高翻译性能。实验结果表明,该方法在两个基准数据集上的表现优于以前的解决方案。
该论文提出了一种名为选择和重新排序(S&R)的新方法,通过将翻译过程分为两个步骤来解决手语翻译的挑战。该方法利用大型语言模型和词汇重叠建立初始对齐,并在实验中取得了较好的结果。这种创新性的方法为手语的更有效翻译模型铺平了道路。
通过无监督的神经机器翻译(UNMT)的成功,研究人员引入了一种无监督的手语翻译和生成网络(USLNet),该网络能够从丰富的单模态数据中学习,而不需要平行手语数据。实验结果表明,USLNet在手语翻译和生成方面取得了竞争性的结果。
本研究提出了任务感知的指令网络TIN-SLT,用于手语翻译。通过引入指令模块和特征融合策略到Transformer网络中,利用预训练模型的语言能力提高翻译性能。同时,通过多级数据增强方案调整训练集的数据分布。在PHOENIX-2014-T和ASLG-PC12数据集上进行实验,方法在BLEU-4方面的表现优于以前的解决方案。
完成下面两步后,将自动完成登录并继续当前操作。