RhythmMamba：快速远程生理测量与任意长度视频
内容提要
本文介绍了多种改进非接触式心率估计的方法，包括基于深度学习的rPPG信号恢复、生成对抗网络PulseGAN及隐私保护技术。这些方法在心率监测和情感识别中表现优越，显著提高了模型的泛化能力和准确性。
延伸解读
技术演进：从误差修正到端到端学习
文章梳理了非接触式心率估计的多项进展。早期工作聚焦于修正长度和面部运动造成的误差，并采用双流双分辨率框架学习稳健特征。随后，深度时空网络实现了从面部视频重建远程光学心电图信号，可测量心率和心率变异性。PulseGAN则通过生成对抗网络去噪染色信号，提升波形质量。这些方法逐步从特定问题修正转向端到端信号恢复，为后续研究奠定了基础。
模型效率与泛化能力的提升
RhythmFormer利用rPPG的准周期性特性，通过层次化时间周期性Transformer和动态稀疏注意力提取特征，在减少参数和计算复杂度的同时达到先进性能。此外，有研究通过系统分析噪声源并引入显性和隐性先验知识，使模型能从RGB数据集泛化到NIR数据集。另一项工作通过扩充训练数据集的范围和变化性，缓解了模型对训练集脉搏波特征的过拟合，进一步提高了泛化能力。
隐私保护与数据多样性挑战
针对rPPG数据的隐私问题，有方法通过提取少量身份相关面部区域进行像素洗牌和模糊处理，在几乎不影响rPPG提取的同时，将面部识别准确率降低60%。另一方面，对最大真实世界rPPG数据集的分析表明，包含数百名受试者的数据集足以进行有效训练，但皮肤色调的多样性和一致性对跨数据集性能评估至关重要。这些工作提示，实际部署需平衡隐私保护与数据代表性。
Q&A
RhythmMamba的主要功能是什么？
RhythmMamba主要用于快速远程生理测量，特别是心率和心率变异性的监测。
如何提高非接触式心率估计的准确性？
可以通过使用深度学习方法，如PulseGAN和两阶段的RPPG信号恢复方法，提高非接触式心率估计的准确性。
PulseGAN的作用是什么？
PulseGAN用于通过去噪染色信号生成逼真的rPPG脉搏信号，从而提高健康监控和情感识别的准确性。
RhythmFormer与其他方法相比有什么优势？
RhythmFormer在参数数量和计算复杂度上表现更优，同时能够提取rPPG信号的周期性特征，达到了最先进的性能。
如何解决rPPG数据的隐私问题？
可以通过像素洗牌和模糊处理的方法来解决rPPG数据的隐私问题，这种方法能有效降低面部识别算法的准确性。
如何扩充训练数据集以提高模型的泛化能力？
通过扩充训练数据集的范围和变化性，可以有效提高模型的泛化能力，避免模型过度拟合训练数据。
