T2S-GPT：基于文本的自回归手语生成的动态向量量化
内容提要
本文介绍了一种创新的手语翻译方法，利用矢量量化和转换器将口语文本转化为动作序列，显著提高了翻译性能。研究提出的新框架有效解决了视觉与文本之间的对齐问题，并在多个数据集上取得了优异的结果，推动了手语翻译技术的发展。
延伸解读
离散化：手语生成的新思路
文章将连续动作生成转化为离散序列生成，利用矢量量化和转换器将口语文本翻译为动作序列。这种离散化方法使模型能借鉴自然语言处理中的序列生成技术，并通过签名拼接有效组合标记，从而提升生成质量。实验表明，该方法在BLEU-1回译得分上提高了72%，显示了离散表示在手语生成中的潜力。
评估指标：回译与Fréchet手势距离
文章强调了反向转译和Fréchet手势距离作为评估指标的可靠性。回译通过将生成的手语动作再翻译回文本，衡量语义保持程度；Fréchet手势距离则从分布层面评估生成动作与真实动作的相似性。这两个指标互补，为手语生成提供了更全面的评价，避免了单一指标的局限性。
跨模态对齐：CV-SLT的贡献
针对手语翻译中视觉与文本的跨模态对齐问题，CV-SLT框架引入两个KL散度来促进手语视频和口语文本之间的直接对齐。实验证明，该框架在公共数据集上取得了新的最先进结果，并显著减轻了跨模态表示差异。这表明显式的对齐约束对于提升翻译性能至关重要。
无语言标注翻译：Sign2GPT的突破
Sign2GPT利用大规模预训练视觉和语言模型，通过轻量级适配器实现无语言标注的手语翻译。在两个公共基准数据集上，它取得了明显优于现有技术的无语言标注翻译性能提升。这一方法降低了对昂贵语言标注的依赖，为手语翻译的实用化提供了新途径。
Q&A
T2S-GPT的主要创新点是什么？
T2S-GPT通过将连续动作生成问题转化为离散序列生成问题，利用矢量量化和转换器将口语文本翻译为动作序列，显著提高了翻译性能。
该方法在BLEU-1回译得分上提高了多少？
该方法使BLEU-1回译得分提高了72%。
Sign2GPT框架的主要功能是什么？
Sign2GPT框架实现无语言标注的手语翻译，并在两个公共基准数据集上表现优于现有技术。
如何解决手语翻译中的跨模态对齐问题？
通过基于条件变分自编码器的新型框架（CV-SLT），引入两个KL散度促进手语视频和口语文本之间的直接对齐。
新方法在手语视频制作中有什么优势？
新方法制作高质量手语视频，无需人类姿势作为中间步骤，模型在两个手语数据集上表现更好。
T2H翻译方法的表现如何？
基于音素表示的T2H翻译方法在两个数据集上取得了BLEU-4得分的最佳表现。
