Apple Machine Learning Research
·
利用手语模型引导手语注释
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
本研究开发了一种伪注释管道，利用手语视频和英语生成可能的注释，包括时间间隔和手势分类。通过建立基线模型，取得了在手语数据集上的最佳表现。专业翻译人员为ASL STEM Wiki的近500个视频进行了注释，并发布了300小时的伪注释数据，以支持手语生成系统的改进。
🎯
关键要点
- 本研究开发了一种伪注释管道，利用手语视频和英语生成可能的注释，包括时间间隔和手势分类。
- 建立了基线模型，在FSBoard和ASL Citizen数据集上取得了最佳表现。
- 专业翻译人员为ASL STEM Wiki的近500个视频进行了注释，提供了包含手势、分类和拼写符号的序列级注释。
- 发布了超过300小时的伪注释数据，以支持手语生成系统的改进。
❓
延伸问答
这项研究开发了什么样的手语注释管道？
研究开发了一种伪注释管道，利用手语视频和英语生成可能的注释，包括时间间隔和手势分类。
基线模型在手语数据集上的表现如何？
基线模型在FSBoard和ASL Citizen数据集上取得了最佳表现。
专业翻译人员为多少个视频进行了注释？
专业翻译人员为ASL STEM Wiki的近500个视频进行了注释。
发布的伪注释数据有多少小时？
发布了超过300小时的伪注释数据。
伪注释管道的输入和输出是什么？
输入为手语视频和英语，输出为可能的注释，包括时间间隔、手势分类等。
这项研究对手语生成系统的改进有什么贡献？
研究通过发布伪注释数据和建立基线模型，支持手语生成系统的改进。
🏷️
标签
➡️
