本研究解决了孟加拉手语文本翻译问题,创新性地结合德美手语语法与大型语言模型生成合成数据。结果显示,基于mBART-50的模型在PHOENIX-14T测试中表现优异,提出了新的翻译范式,证明合成数据对BdSL翻译的促进作用。
本文提出了BdSLW401,一个包含401个手势和102,176个视频样本的孟加拉手语数据集,以解决手语识别中的说话者变异和视角变化问题。通过引入相对量化编码(RQE),显著提升了基于变换器的手语识别效果,增强了模型的解释性和识别率。
本研究提供了一个新的词级孟加拉手语数据集(BdSL40),包含 611 个单词的 40 个视频,以及两种不同的分类方法。研究揭示了 BdSL、西孟加拉手语和印度手语之间的词汇和语义相似性,以及对 BdSL 缺乏词级数据集的情况。数据集和源代码已发布以促进进一步研究。
完成下面两步后,将自动完成登录并继续当前操作。