基于运动关注机制和帧级自蒸馏的连续手语识别
内容提要
该文综述连续手语识别研究进展，涵盖分层注意力网络、CorrNet、双通道SlowFast、多语种语料辅助、全卷积网络、Transformer、空时多线索网络、骨骼多模态框架及CTC模型等方法，在多个数据集上提升准确率并降低错误率。
延伸解读
技术演进脉络
文章梳理了连续手语识别从2018年到2024年的技术发展，包括分层注意力网络、CorrNet、双通道SlowFast、多语种语料辅助、全卷积网络、Transformer、空时多线索网络、骨骼多模态框架及CTC模型等。这些方法在多个数据集上提升了准确率并降低了错误率，反映了该领域从手工特征向端到端深度学习、从单模态向多模态融合的演进趋势。
多语种辅助与多模态融合
文章提到利用多语种手语语料库辅助单一语种识别，以及基于骨骼动态特征和多模态特征融合的框架。这些方法通过跨语种数据增强和多种数据模态的结合，提高了识别性能，并在实验中取得了最先进的结果，表明数据扩充和特征融合是提升连续手语识别效果的有效途径。
性能评估与挑战
文章指出，基于CTC的模型在RWTH-PHOENIX-Weather数据集上获得了35%的词错误率，而其他方法在各自数据集上达到了最先进水平。这表明连续手语识别仍面临错误率较高的挑战，不同数据集和评估指标下的性能差异也提示读者需关注模型泛化能力和实际应用场景的匹配度。
Q&A
连续手语识别中，有哪些方法无需时间分割预处理？
Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架无需时间分割预处理，可以缩小语义差距。
CorrNet 在手语识别中有什么作用？
CorrNet 是一种卷积神经网络，用于识别手语，结合当前帧和相邻帧之间的人体轨迹，捕捉视频中人体动作的局部时空特征，在大型数据集中获得最先进的准确率。
双通道 SlowFast 网络如何提升连续手语识别性能？
双通道 SlowFast 网络通过特殊的特征融合方法，有效提取连续手语识别中的时空特征，在多个数据集上展示了在空间和动态表示方面的优势。
多语种手语语料库如何辅助单一语种的连续手语识别？
通过利用多语种手语语料库，识别跨语种手语并将其作为辅助训练数据，从而提高单一语种的连续手语识别能力，在两个广泛使用的数据集上取得了最先进的性能。
全卷积网络（FCN）在在线手语识别中如何工作？
全卷积网络（FCN）从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入手语特征增强（GFE）模块提高序列对齐学习效果，在连续手语识别上有效且在在线识别中表现较好。
基于 Transformer 的手语识别方法有什么特点？
基于 Transformer 模型的新方法专注于提高准确性，同时消除对手工特征的依赖，用于连续手语识别和单独手语识别，通过增强手势键点特征和最终分类来检测连续手语视频中单独手语的边界，在两个数据集上取得了有希望的结果。
空时多线索（STMC）网络在连续手语识别中取得了什么成果？
空时多线索（STMC）网络采用多线索学习方法解决视觉序列学习问题，在三个大规模连续手语识别基准测试上取得了新的最先进表现。
骨骼感知多模态框架如何提高手语识别准确率？
该框架基于骨架动态特征和多模态特征融合，在三个孤立 SLR 数据集上进行了实验验证，实现了最先进的 SLR 性能。
基于概率模型的手语分类方法在阿根廷手语数据集上表现如何？
该方法在具有 64 个类别和 3200 个样本的阿根廷手语数据集上测试，证实可以实现不考虑顺序的识别，并取得了 97% 的准确率。
使用 CTC 作为分类器层的连续手语识别模型有哪些？其错误率如何？
介绍了 LRCN-based 模型和 Multi-Cue 网络，使用连接主义时间分类（CTC）作为分类器层。在 RWTH-PHOENIX-Weather 数据集上评估，通过超参数搜索（包括特征图数量、输入大小、批量大小、序列长度、LSTM 内存单元、正则化和失活等），获得了 35% 的字词错误率（WER）。
