Camera-Based Parallel Spiking Transformer for Remote Photoplethysmography Recognition
内容提要
该文汇总多项研究：PhysFormer等Transformer架构提升rPPG表示与心率监测精度；PulseGAN生成逼真脉搏信号；Spikeformer、Spikingformer等脉冲神经网络在分类、分割和生成任务中兼顾性能与低能耗，展现广泛潜力。
延伸解读
从CNN到Transformer：rPPG技术的演进
文章梳理了rPPG领域的技术发展脉络。早期研究（如2019年）聚焦于CNN，并发现引入PPG先验知识能提升心率监测性能。随后，基于Transformer的PhysFormer（2021年）通过标签分布学习和课程学习增强了rPPG表示，在多个基准数据集上表现优越。这反映了该领域从卷积网络向注意力机制模型的演进趋势。
脉冲神经网络：低功耗与高性能的平衡
文章重点介绍了脉冲神经网络（SNN）在多个任务中的潜力。Spikeformer（2022年）在静态和神经形态数据集上均优于传统ANN；Spikingformer（2023年）作为纯脉冲Transformer，能耗降低60.34%；SDDPM（2023年）则展示了SNN在生成模型上的可行性。这些进展表明SNN能在保持性能的同时显著降低能耗，适合移动和嵌入式设备。
生成模型与信号增强：提升rPPG质量
PulseGAN（2020年）通过生成对抗网络从去噪染色信号中生成逼真的rPPG脉搏信号，在UBFC-RPPG数据库上验证，提高了心率、心率变异性和心动间隔的准确性。此外，2023年的Dual-TL框架利用空间和时间信息实现高准确度测量。这些方法共同推动了rPPG信号质量的提升，为健康监控和情感识别等应用奠定了基础。
Q&A
PhysFormer 是什么？它有什么特点？
PhysFormer 是一种基于 Transformer 的架构，用于增强远程光电容积描记术（rPPG）的表示。它通过标签分布学习和课程学习提供精细监督，并在四个基准数据集上表现出优越性能。
PulseGAN 如何提高 rPPG 信号质量？
PulseGAN 是一种基于生成对抗神经网络的框架，通过去噪染色信号生成逼真的 rPPG 脉搏信号。在 UBFC-RPPG 数据库上验证，能有效提高波形质量，进而增强心率、心率变异性和心动间隔的准确性。
Spikingformer 在能耗方面有什么优势？
Spikingformer 是一种纯变压器型脉冲神经网络，能够避免非脉冲计算，使能耗降低 60.34%。它在图像分类任务上优于之前的纯 SNN，是首个全脉冲驱动的变压器型 SNN。
脉冲神经网络在语义分割中表现如何？
通过替代全连接层和使用替代梯度学习方法，将全卷积网络和 DeepLab 重构为 SNN 域网络。实验表明，相较于 ANN，SNN 在语义分割中更加稳健和节能。
SDDPM 是什么？它在生成任务中有什么突破？
SDDPM 是一种基于脉冲神经网络的生成模型，使用仅 4 个时间步骤的纯脉冲 U-Net 架构，实现与 ANN 模型可比性能，并在 CIFAR-10 和 CelebA 数据集上取得卓越性能，是 SNN 生成领域的重大进展。
基于学习 Token 的双路径 TokenLearner 如何用于 rPPG 测量？
使用基于学习 Token 的双路径 TokenLearner（Dual-TL）的原生 Transformer 框架，综合利用面部视频的空间和时间信息，实现高准确度的远程光电体积脉搏测量。
