无监督手语翻译与生成
内容提要
本文综述手语翻译研究进展，提出统一神经模型SLTUNET，通过跨模态表示共享联合建模多个手语翻译任务，在PHOENIX-2014T和CSL-Daily数据集上达到先进水平；同时介绍基于动态图与多模态融合、上下文感知多模态Transformer、任务感知指令网络TIN-SLT、条件变分自编码器CV-SLT、视觉-语言预训练GFSLT-VLP及迁移学习等方法，均显著提升翻译性能。
延伸解读
SLTUNET：统一建模与跨模态共享
SLTUNET 通过跨模态表示共享策略，将手语翻译、手势码翻译和手语转文本翻译等多个任务联合建模，以缓解数据不足和模态差异问题。在 PHOENIX-2014T 和 CSL-Daily 数据集上，结合机器翻译数据和优化技术后，其性能达到具有竞争力甚至最先进的水平，并首次在 DGS 语料库上验证了有效性。
多模态融合与上下文感知的改进
基于动态图和多模态特征融合的模型引入手语语言学语意信息，以解决语意缺失问题；上下文感知多模态 Transformer 则从人类翻译角度，利用上下文信息和自信预测消除弱视觉线索，在较大规模数据集上近乎翻倍地提高了基线 BLEU-4 分数。这些方法共同指向更充分地利用视觉与语言上下文。
任务感知与跨模态对齐的新思路
TIN-SLT 通过任务感知指令网络和多级数据增强，在 PHOENIX-2014-T 和 ASLG-PC12 上比先前最佳 BLEU-4 分别提升 1.65 和 1.42；CV-SLT 则用条件变分自编码器和两个 KL 散度促进视频与文本的直接对齐，显著减轻跨模态表示差异。两者分别从任务指令和表示对齐角度提升翻译性能。
预训练与迁移学习的性能提升
GFSLT-VLP 结合 CLIP 和掩码自监督学习，在 PHOENIX14T 上使 BLEU-4 提升超过 5 分，达到与最先进无手语互译方法相当的结果；基于迁移学习的模型通过预训练视觉和语言网络，显著优于先前手语翻译结果。这些工作表明，视觉-语言预训练和迁移学习是提升手语翻译效果的有效途径。
Q&A
SLTUNET是什么？它如何解决手语翻译中的数据不足和模态差异问题？
SLTUNET是一个统一的神经模型，采用跨模态表示共享策略，支持多个手语翻译相关任务的联合建模，包括手语翻译、手势码翻译和手语转文本翻译等。它通过使用机器翻译数据和优化技术进行改进，在PHOENIX-2014T和CSL-Daily数据集上取得了具有竞争力的甚至最先进的性能，并首次使用DGS语料库进行SLT，证明了其有效性。
有哪些基于动态图和多模态融合的手语翻译方法？
该研究提出了一种基于动态图和多模态特征融合的新颖神经翻译模型，结合手语语言学上的语意信息，以解决其它神经模型中可能存在的语意信息缺失问题。实验表明该模型可以在手语翻译方面取得更好的效果。
上下文感知多模态Transformer在手语翻译中有什么优势？
该方法从人类翻译的角度出发，利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的BLEU-4分数。
TIN-SLT是什么？它在手语翻译中取得了怎样的效果？
TIN-SLT是一种任务感知的指令网络，用于手语翻译，通过引入指令模块和基于学习的特征融合策略到Transformer网络中，充分利用预训练模型的语言能力来提高翻译性能。同时提出多级数据增强方案调整训练集数据分布。在PHOENIX-2014-T和ASLG-PC12数据集上，BLEU-4比之前最佳解决方案提高了1.65和1.42。
CV-SLT框架如何解决手语翻译中的跨模态对齐问题？
CV-SLT是一种基于条件变分自编码器的新型框架，通过引入两个KL散度来促进手语视频和口语文本之间的直接且充分的跨模态对齐。实验证明，该框架在公共数据集上取得了新的最先进结果，并显著减轻了跨模态表示差异。
GFSLT-VLP方法如何提升手语翻译性能？
GFSLT-VLP基于视觉-语言预训练，通过结合对比式语言-图像预训练（CLIP）和掩码自监督学习，构建了一个端到端的模型，实现了在PHOENIX14T数据集上的BLEU-4分数大幅提升（> +5），取得了与最先进的无手语互译方法相当的竞争性结果。
