BdSLW60: 一个词汇级别的孟加拉手语数据集
内容提要
该文综述了多个手语数据集：孟加拉手语BdSL40（611词、40视频，采用3D CNN和图神经网络分类）、美国手语WLASL（姿态时态图卷积网络）、最大连续手语数据集（3万句、41.6万词、104小时）、ASL-1000视频集、英国手语BOBSL、土耳其手语AUTSL（准确率95.95%）、孟加拉冒犯语BD-SHS、ASL Citizen（8.3万视频、2731手势），以及互联网字幕迁移学习方法。
延伸解读
BdSL40数据集的规模与局限
BdSL40是词级孟加拉手语数据集，包含611个单词，但每个单词仅有40个视频样本。这一规模在词级手语数据集中相对较小，可能限制模型泛化能力。文章也指出文献中缺乏词级BdSL数据集，因此该数据集的发布填补了空白，但使用者需注意样本量有限可能带来的过拟合风险。
手语识别中的模型选择：3D CNN与图神经网络
针对BdSL40，文章采用了两种方法：基于3D卷积神经网络和基于图神经网络。3D CNN擅长捕捉视频中的时空特征，而图神经网络能建模手语中关节点的拓扑关系。两种方法各有侧重，为后续研究提供了不同的基准。读者可关注这两种方法在词级分类任务上的表现差异。
孟加拉手语与相关手语的词汇相似性
研究揭示了BdSL、西孟加拉手语和印度手语之间存在显著的词汇和语义相似性。这一发现意味着针对一种手语开发的模型或资源可能部分迁移到相关手语，但同时也需注意语言变体间的差异，避免直接套用导致性能下降。
大规模手语数据集的趋势与挑战
文章综述了多个大规模手语数据集，如WLASL、ASL Citizen和BOBSL等，它们推动了手语识别与翻译的进步。然而，这些数据集多集中于美国手语和英国手语，孟加拉手语等资源仍稀缺。此外，连续手语数据集如30k句子规模的出现，为更复杂的任务提供了可能，但标注成本高、领域差异大仍是挑战。
Q&A
BdSL40数据集是什么？它包含哪些内容？
BdSL40是一个词汇级别的孟加拉手语数据集，包含611个单词的40个视频。该研究还提供了两种分类方法：基于3D卷积神经网络和基于图神经网络的方法。
有哪些大规模手语数据集被提及？
文章提及了多个大规模手语数据集，包括：美国手语WLASL、最大连续手语数据集（3万句、41.6万词、104小时）、ASL-1000视频集、英国手语BOBSL、土耳其手语AUTSL、孟加拉冒犯语BD-SHS、ASL Citizen（8.3万视频、2731手势）等。
ASL Citizen数据集有什么特点？
ASL Citizen是迄今最大的孤立手语识别数据集，包含83,912个视频，由52名手语用户在各种环境中拍摄了2,731个不同的手势。该数据集可用于手语字典检索，并显著提高了监督学习分类器的性能。
土耳其手语AUTSL数据集的识别准确率是多少？
在AUTSL随机训练和测试集上，模型达到了95.95%的准确度，在用户独立基准数据集上最佳基线模型效果为62.02%。
如何解决手语数据稀缺的问题？
文章提到一种从互联网字幕手语新闻中学习转移知识的方法，通过基于并联视觉概念和识别模型的特征对齐和记忆降低领域专有特征，克服手语数据稀缺和领域差异问题，并取得了最新性能。
BdSL、西孟加拉手语和印度手语之间有什么关系？
研究揭示了BdSL、西孟加拉手语和印度手语之间存在显著的词汇和语义相似性。
