PhySU-Net:自监督预训练的长时空上下文 rPPG 转换器

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

Contrast-Phys+是一种用于视频远程生理测量的方法,使用3D卷积神经网络模型生成多个时空PRP信号,并将PRP的先验知识纳入对比损失函数中。该方法在无监督和弱监督设置下进行训练,即使在部分可用或错位的GT信号或没有标签的情况下,Contrast-Phys+也优于最先进的有监督方法。此外,该方法在计算效率、噪声鲁棒性和泛化性方面也具有优势。

🎯

关键要点

  • Contrast-Phys+是一种用于视频远程生理测量的方法。

  • 该方法使用3D卷积神经网络模型生成多个时空PRP信号。

  • Contrast-Phys+在无监督和弱监督设置下进行训练。

  • 该方法优于最先进的有监督方法,即使在部分可用或错位的GT信号或没有标签的情况下。

  • 对比损失函数中纳入了PRP的先验知识。

  • 对比损失鼓励来自同一视频的PRP/GT信号进行分组。

  • 方法在计算效率、噪声鲁棒性和泛化性方面具有优势。

  • 评估在包括RGB和近红外视频的五个公开数据集上进行。

➡️

继续阅读