RhythmMamba:快速远程生理测量与任意长度视频
原文中文,约300字,阅读约需1分钟。发表于: 。使用 Mamba 为基础的 RhythmMamba 方法,通过多时间尺度的 Mamba 约束周期模式与短期趋势,并结合频域前馈使得 Mamba 能够牢固理解 rPPG 的准周期模式。大量实验证明,RhythmMamba 在减少参数和降低计算复杂度的同时,实现了最先进的性能。该方法适用于任意长度的视频片段且性能不降。
RhythmFormer是一种基于Transformer的全端对端方法,用于提取rPPG信号的周期性特征。它使用层次化时间周期性Transformer核心模块和动态稀疏注意力对rPPG特征进行建模,并提出了融合模块来指导自注意力。RhythmFormer在参数和计算复杂度上比之前的方法更少,并达到了最先进的性能。