基于姿态的手语外观转换
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了在手语标记中保留内容的同时,转移手语者外观的问题。提出的新方法利用估算的姿态,将一个手语者的外观转移到另一个手语者身上,提高了基于姿态的渲染和手语拼接性能,同时有效保护了身份隐私。实验结果表明,该方法在减少手语者识别精度的同时,轻微影响了手语识别性能,突显了隐私与实用性之间的权衡。
我们开发了一种基于Transformer的模型,用于美国手语翻译。通过精确的手部姿势估计和新的损失项,提升了翻译准确性。采用两阶段推理方法,在ChicagoFSWild数据集上的性能提高了10%以上。