PhySU-Net:自监督预训练的长时空上下文 rPPG 转换器
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
Contrast-Phys+是一种用于视频远程生理测量的方法,使用3D卷积神经网络模型生成多个时空PRP信号,并将PRP的先验知识纳入对比损失函数中。该方法在无监督和弱监督设置下进行训练,即使在部分可用或错位的GT信号或没有标签的情况下,Contrast-Phys+也优于最先进的有监督方法。此外,该方法在计算效率、噪声鲁棒性和泛化性方面也具有优势。
🎯
关键要点
-
Contrast-Phys+是一种用于视频远程生理测量的方法。
-
该方法使用3D卷积神经网络模型生成多个时空PRP信号。
-
Contrast-Phys+在无监督和弱监督设置下进行训练。
-
该方法优于最先进的有监督方法,即使在部分可用或错位的GT信号或没有标签的情况下。
-
对比损失函数中纳入了PRP的先验知识。
-
对比损失鼓励来自同一视频的PRP/GT信号进行分组。
-
方法在计算效率、噪声鲁棒性和泛化性方面具有优势。
-
评估在包括RGB和近红外视频的五个公开数据集上进行。
🏷️
标签
➡️