本研究提出了一种基于Transformer的手语翻译架构,结合CTC loss实现端到端训练,超越传统模型。通过多通道变压器和统一神经模型SLTUNET,解决了手语翻译中的数据不足和模态差异问题,在多个数据集上取得了竞争力的翻译性能,呼吁跨学科研究以推动手语翻译的发展。
完成下面两步后,将自动完成登录并继续当前操作。