PhySU-Net: A Long Spatio-Temporal Context rPPG Transformer with Self-Supervised Pre-training
内容提要
该文综述了远程光电容积描记（rPPG）的多项进展：PhysFormer结合Transformer、标签分布与课程学习提升性能；Spiking-PhyFormer利用脉冲神经网络降低功耗；Contrast-Phys+、SSPD等自监督/无监督方法借助自相似先验和对比学习，在无标签或弱标签下媲美甚至超越有监督方法，并具备高效、抗噪与泛化优势。
延伸解读
自监督与无监督方法的崛起
文章综述的多项研究显示，自监督和无监督方法在rPPG领域取得显著进展。Contrast-Phys+和SSPD等方法利用自相似先验和对比学习，在无标签或弱标签下性能媲美甚至超越有监督方法，同时具备计算效率高、抗噪和泛化优势。这降低了对昂贵标注数据的依赖，为实际部署提供了新可能。
模型效率的优化方向
为降低功耗，Spiking-PhyFormer引入脉冲神经网络，在保持性能的同时比PhysFormer等ANN模型降低12.4%功耗，并将变压器块功耗降低12.2倍。SSPD在端到端模型中保持最低推断时间和计算成本。这些工作表明，rPPG模型正朝着高效、低功耗的方向发展，适合移动或嵌入式设备。
监督学习与课程学习的结合
PhysFormer通过标签分布学习和课程学习提供精细监督，在四个基准数据集上验证了优越性能。这种方法缓解了rPPG信号标签噪声和分布不均的问题，为监督学习提供了更鲁棒的训练策略。结合自监督方法，未来可能形成互补，进一步提升模型在复杂场景下的表现。
Q&A
PhysFormer 是什么？它有什么特点？
PhysFormer 是一种基于 Transformer 的架构，用于增强远程光电容积描记术（rPPG）的表示。它通过标签分布学习和课程学习提供精细的监督，并在四个基准数据集上进行了全面实验，证明了其优越性能。
Spiking-PhyFormer 如何降低功耗？
Spiking-PhyFormer 是一种基于脉冲神经网络的混合神经网络模型，在保持性能的同时，相较于 PhysFormer 和其他基于 ANN 的模型降低了 12.4% 的功耗，并将变压器块的功耗降低了 12.2 倍。
Contrast-Phys+ 在无监督和弱监督设置下表现如何？
Contrast-Phys+ 是一种无监督和弱监督的 rPPG 方法，使用 3D CNN 生成多个时空 PRP 信号，并将 PRP 先验知识纳入对比损失函数。在五个公开数据集上，即使部分可用或错位的 GT 信号或没有标签，它也优于最先进的有监督方法，并具有计算效率、噪声鲁棒性和泛化性优势。
SSPD 框架是如何实现无监督 rPPG 估计的？
SSPD 框架基于自相似性先验蒸馏，利用心脏活动的内在自相似性，采用物理先验嵌入增强技术抑制噪音，利用自相似性感知网络提取更可靠的自相似生理特征，并开发分层自蒸馏范式来帮助网络从面部视频中解开自相似的生理模式。实验证明，无监督的 SSPD 在性能上相当或甚至优于最先进的有监督方法，同时保持最低的推断时间和计算成本。
有哪些自监督学习方法用于 rPPG？
文章提到了多种自监督学习方法，包括：自监督对比学习用于估计 rPPG 和心率监测，减少对标记数据的依赖；以及基于学习 Token 的双路径 TokenLearner（Dual-TL）的原生 Transformer 框架，综合利用面部视频的空间和时间信息实现高准确度的远程光电体积脉搏测量。
远程光电容积描记术（rPPG）有哪些应用？
远程光电容积描记术（rPPG）用于通过面部视频测量血容量变化信号，也称为远程光电容抗（PRP）。应用包括心率监测和生理信号分析，如远程面部信号分析。
