BriefGPT - AI 论文速递
·
无监督手语翻译与生成
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
通过无监督的神经机器翻译（UNMT）的成功，研究人员引入了一种无监督的手语翻译和生成网络（USLNet），该网络能够从丰富的单模态数据中学习，而不需要平行手语数据。实验结果表明，USLNet在手语翻译和生成方面取得了竞争性的结果。
🎯
关键要点
- 研究人员引入了一种无监督的手语翻译和生成网络（USLNet）。
- USLNet能够从单模态数据中学习，而无需平行手语数据。
- USLNet由单模态重构模块和跨模态回译模块组成。
- USLNet面临文本和视频序列之间的长度和特征维度不匹配的问题。
- 提出了一种滑动窗口方法来解决文本与视频序列对齐的问题。
- USLNet是首个能够统一生成自然语言文本和手语视频的无监督模型。
- 在BBC-Oxford手语数据集和开放领域美国手语数据集上的实验结果显示，USLNet取得了竞争性的结果。
➡️
