本研究提出了一种基于Transformer的手语翻译架构,结合CTC loss实现端到端训练,超越传统模型。通过多通道变压器和统一神经模型SLTUNET,解决了手语翻译中的数据不足和模态差异问题,在多个数据集上取得了竞争力的翻译性能,呼吁跨学科研究以推动手语翻译的发展。
本文综述手语翻译研究进展,提出统一神经模型SLTUNET,通过跨模态表示共享联合建模多个手语翻译任务,在PHOENIX-2014T和CSL-Daily数据集上达到先进水平;同时介绍基于动态图与多模态融合、上下文感知多模态Transformer、任务感知指令网络TIN-SLT、条件变分自编码器CV-SLT、视觉-语言预训练GFSLT-VLP及迁移学习等方法,均显著提升翻译性能。
完成下面两步后,将自动完成登录并继续当前操作。