DiffSLVA:利用扩散模型实现手语视频匿名化
原文中文,约300字,阅读约需1分钟。发表于: 。通过 DiffSLVA 方法,利用预训练的大规模扩散模型和低级图像特征来进行零样本文本引导的手语视频匿名化,解决了手势识别的复杂性和对数据集的依赖性的问题,实现了更好地保护原始签名者的重要语言内容。
本文研究了孤立手语识别(ISLR)的自监督学习方法,通过四种基于Transformer的方法和四种预训练数据方案在WLASL2000数据集上的组合进行了深入分析。发现MaskFeat在WLASL2000数据集上的准确率达到79.02%,证明了这些模型产生ASL手势表示的能力。同时强调了架构和预训练任务选择在ISLR中的重要性,特别是在WLASL2000数据集上验证了掩码重构预训练的强大性能和层次视觉Transformer在手语表示中的重要性。