基于自适应的 Conformer 的连续手语识别与无监督预训练
内容提要
本文介绍了一种基于混合CTC/注意力模型的ResNet-18和Conformer，显著提升了语音识别的准确性。通过引入AdaptSign和CSLR2模型，在连续手语识别和手语检索中取得了优异表现，并利用多语种手语数据集提升识别能力。此外，Conformer模型在LibriSpeech基准测试中超越传统模型，展示了在语音识别和分离任务中的潜力。
延伸解读
技术演进脉络
文章按时间顺序梳理了连续手语识别与语音识别领域的关键进展。从2020年基于Transformer的手语识别方法，到2021年混合CTC/注意力模型的ResNet-18和Conformer，再到2024年AdaptSign和CSLR2模型，技术路线逐步从依赖手工特征转向端到端学习，并引入大规模预训练模型如CLIP。这一脉络显示出手语识别与语音识别在模型架构上的相互借鉴。
AdaptSign的适应机制
AdaptSign采用CLIP作为视觉主干并固定其参数，仅通过引入一组可学习模块来适应连续手语识别任务。这种设计在多个基准测试（如PHOENIX14、CSL-Daily）上展现出卓越性能，可视化结果还表明模型能动态关注手语视频中信息丰富的空间区域和跨帧轨迹。这为利用大规模预训练模型进行高效微调提供了思路。
多任务联合学习的优势
CSLR2模型通过多任务Transformer在连续手语识别和手语检索之间构建联合嵌入空间。实验证明，精心选择损失函数使两个任务在训练中互相促进，并利用BOBSL等大词汇数据集的弱监督和嘈杂监督，性能显著优于以往最先进技术。这表明多任务学习能有效提升模型在数据稀缺场景下的泛化能力。
Conformer的跨领域影响
Conformer结合Transformer和卷积神经网络，在LibriSpeech基准测试中以更少参数实现了2.1%/4.3%的字错率，超越传统模型。其优势不仅限于语音识别，还扩展到语音分离、语音意图理解等任务，并在LibriCSS数据集上取得最优表现。这体现了统一架构在多模态序列建模中的潜力。
Q&A
Conformer模型的主要优势是什么？
Conformer模型结合了Transformer和卷积神经网络的优点，能够有效建模语音序列的局部和全局依赖，且在参数更少的情况下实现更高的识别率。
AdaptSign模型在手语识别中有什么创新？
AdaptSign模型通过引入可学习模块，能够动态关注手语视频中的重要信息，从而在连续手语识别任务中展现出卓越性能。
CSLR2模型的功能是什么？
CSLR2模型实现了大词汇连续手语识别和手语检索的联合嵌入空间，能够在手语序列和口语文本之间进行有效输出。
如何提升单一语种的连续手语识别能力？
通过利用多语种手语数据集，识别跨语种手语并将其作为辅助训练数据，可以显著提升单一语种的连续手语识别能力。
Conformer模型在LibriSpeech基准测试中的表现如何？
Conformer模型在LibriSpeech基准测试中取得了2.1%/4.3%的字错率，超越了传统的Transformer和CNN模型。
本文提出的混合CTC/注意力模型有什么特点？
该混合CTC/注意力模型能够进行端到端训练，显著提升语音识别的准确性，并在多个数据集上取得了最先进的性能。
