双立体：手语三维动作重建与生成
内容提要
本文介绍了SignAvatars数据集，包含70,000个手语视频，旨在促进3D手语识别与生成。提出了Spoken2Sign翻译系统，实现口语到手语的转换，并展示了3D关键点增强的辅助作用。研究还涉及基于扩散的SLP模型和SignGAN，以提升手语翻译效果。
延伸解读
数据集规模与构成
SignAvatars数据集包含70,000个手语视频，共计8.34百万帧，覆盖孤立手势和连贯手势。该数据集提供了自动化注释流水线和3D手语的形态学注释，为3D手语识别与生成任务提供了大规模、多提示的数据基础。
口语到手语翻译的3D路径
Spoken2Sign系统首次将口语到手语翻译任务呈现为3D手语输出格式。其基线方法分三步：利用Sign2Spoken基准构建手语视频字典，为每个视频估计3D手语，再训练由Text2Gloss翻译器、手语连接器和渲染模块组成的模型。该方法还附带产生3D关键点增强和多视图理解，有助于基于关键点的手语理解。
生成模型的进展与对比
基于扩散的SLP模型在SMPL-X身体骨架上定义了解剖学感知图神经网络，能从无约束话语领域生成动态3D手语化身序列，在定量和定性实验中优于先前方法。SignGAN则通过结合Mixture Density Network的transformer架构和基于关键点的损失函数，实现从口语到骨骼姿势再到连续手语视频的生成，在8个手语翻译者数据集上表现优于基线。
Q&A
SignAvatars数据集的主要内容是什么？
SignAvatars数据集包含70,000个手语视频，旨在促进3D手语识别与生成。
Spoken2Sign翻译系统的功能是什么？
Spoken2Sign翻译系统实现了口语到手语的转换，并采用3D手语输出格式。
3D关键点增强在手语理解中有什么作用？
3D关键点增强和多视图理解对基于关键点的手语理解具有辅助作用。
SLP模型的创新之处是什么？
基于扩散的SLP模型通过新颖的图神经网络生成动态的3D手语序列，效果优于先前方法。
SignGAN是如何实现手语视频生成的？
SignGAN通过关键点损失函数实现从口语到手语视频的生成，表现优于基线方法。
这项研究对手语翻译领域的影响是什么？
这项研究通过提供新的数据集和模型，推动了手语翻译技术的发展，提升了翻译效果。
