SignAttention：变换器模型在手语翻译中的可解释性

本研究首次全面分析了基于变换器的手语翻译模型的可解释性，重点在于从视频中翻译希腊手语到文本的过程。研究发现，模型关注的是帧的聚集而非单个帧，并且在姿势与词汇之间形成对角线的对齐模式。此工作加深了对手语翻译模型的理解，为更透明和可靠的翻译系统的开发铺平了道路。