口语到手语翻译的简单基准模型与 3D 人偶
内容提要
本文综述手语翻译与生成研究，涵盖SignGAN利用MDN transformer和关键点损失从口语生成连续手语视频、SignAvatars提供含7万视频和834万帧的3D手语数据集，以及文本到手语系统、SGNify自动捕捉手语动作、基于扩散的3D手语生成模型、伪手语数据增强、AZee文本翻译算法、基于HamNoSys音素表示的文本到手语方法和用SignWriting表示手语的神经因子化机器翻译，多项在基准上取得最佳成绩。
延伸解读
手语生成的两条技术路线
文章展示了手语生成的两类方法：一是SignGAN直接从口语生成骨骼姿势和连续手语视频，二是基于扩散的模型在SMPL-X骨架上生成3D动态化身序列。前者依赖关键点损失和MDN transformer，后者强调解剖学感知图神经网络。两者都试图从口语自动生成手语，但输出形式不同，反映了从2D视频到3D化身的演进趋势。
数据资源与表示方法的多样性
SignAvatars提供了7万视频、834万帧的大规模3D手语数据集，并包含自动注释流水线，有助于缓解数据短缺。同时，文本到手语方法采用HamNoSys音素表示或SignWriting书写系统，而非传统的gloss表示。这些不同的表示方式各有侧重，音素表示能提供额外监督，SignWriting则支持双向翻译，表明手语NLP的表示层仍在探索中。
评估基准与性能参考
多项研究在公开基准上报告了量化结果：How2Sign数据集上BLEU得分为8.03，HamNoSys方法在两个数据集上取得BLEU-4最佳，SignWriting方法在手语到英语翻译中达到30 BLEU、双向翻译达到20 BLEU。这些数字可作为理解当前技术水平的参考，但需注意不同任务、数据集和指标之间的差异，不宜直接横向比较。
实际应用与局限
SGNify能从现场视频自动捕捉手势、面部表情和身体动作，用于3D avatar学习手语，有望提升在线媒体和AR/VR应用的可及性。AZee算法则利用平行语料库生成多个候选翻译，但作者也指出存在局限性。整体来看，这些技术仍处于研究阶段，距离成熟应用还有距离，读者应关注其适用场景和评估范围。
Q&A
SignGAN 是如何从口语生成手语视频的？
SignGAN 使用基于 Mixture Density Network (MDN) 的 transformer 架构，并提出了一个新颖的基于关键点的损失函数，实现了从口语翻译成骨骼姿势，再生成连续的手势语视频。在 8 个手语翻译者的数据集上，该方法在定性和定量上均优于基线方法。
SignAvatars 数据集包含哪些内容？
SignAvatars 是一个大规模多提示 3D 手语运动数据集，涵盖隔离的手势和连贯的手势，包含 70,000 个视频，共计 8.34 百万帧，提供了自动化注释流水线以及 3D 手语的形态学注释，旨在促进 3D 手语识别和生成等任务。
文本到手语系统由哪些组件构成？
该系统包含三个组件：一个词形还原器、一个基于规则的单词重排和删除组件，以及一个神经机器翻译系统。系统从视频中提取手语姿势，用于三种不同手语语言的词汇表进行姿势转换，最后组合生成手势姿势序列。
SGNify 如何从视频中自动捕捉手语动作？
SGNify 通过引入具有普遍适用性的新颖语言学先验，能够从现场手语视频中全自动捕获手势、面部表情和身体动作。该方法在学习手语时用 3D avatar 取代视频字典，可提高对技术和在线媒体的获取能力及 AR/VR 应用，并在手语视频上优于现有 3D 身体姿势和形状估计方法。
基于扩散的 3D 手语生成模型有什么特点？
该模型基于扩散，通过在 SMPL-X 身体骨架上定义的新颖解剖学感知图神经网络，从无约束的话语领域生成动态的 3D 手语化身序列。定量和定性实验证明，该方法在 3D 手语生成方面明显优于先前方法。
伪手语数据增强方法如何提升手语翻译性能？
该方法通过一种简单高效的规则转换，将目标单语言数据转录为其伪手语，从而增强手语翻译的自动化。实验结果表明，该方法能显著提高手语翻译的性能，在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 两个基准数据集上实现了最新成果。
