本研究解决了孟加拉手语文本翻译问题,创新性地结合德美手语语法与大型语言模型生成合成数据。结果显示,基于mBART-50的模型在PHOENIX-14T测试中表现优异,提出了新的翻译范式,证明合成数据对BdSL翻译的促进作用。
本文提出了BdSLW401,一个包含401个手势和102,176个视频样本的孟加拉手语数据集,以解决手语识别中的说话者变异和视角变化问题。通过引入相对量化编码(RQE),显著提升了基于变换器的手语识别效果,增强了模型的解释性和识别率。
完成下面两步后,将自动完成登录并继续当前操作。