BriefGPT - AI 论文速递
·
口语到手语翻译的简单基准模型与 3D 人偶
原文中文，约400字，阅读约需1分钟。
📝
内容提要
介绍了Spoken2Sign系统，将口语翻译成手语。系统包括创建手语视频字典、估计3D手语和训练Spoken2Sign模型。作者还证明了该方法的两个附带产品的辅助作用。
🎯
关键要点
-
Spoken2Sign系统旨在将口语翻译成手语。
-
系统包括创建手语视频字典、估计3D手语和训练Spoken2Sign模型。
-
使用现有的Sign2Spoken基准创建手语视频字典。
-
为字典中的每个手语视频估计一个3D手语。
-
训练的Spoken2Sign模型由Text2Gloss翻译器、手语连接器和渲染模块组成。
-
首次将Spoken2Sign任务呈现为3D手语输出格式。
-
证明了3D关键点增强和多视图理解对基于关键点的手语理解的辅助作用。
🏷️
