再探基于学习的视频运动放大实时处理
内容提要
视频运动放大技术综述：深度卷积网络可直接学习滤波器以提升放大质量；事件相机与RGB双摄系统实现高频运动放大；自监督方法无需合成数据集，通过缩放光流放大微小运动；Swine Transformer模型增强抗噪性；轴向动作放大提升可读性；DeepMag自动放大颜色与运动信号；3D欧拉方法支持运动相机场景；EulerMormer实现更强放大效果。
延伸解读
技术演进：从监督学习到自监督与事件相机
文章梳理了视频运动放大技术的多个进展。2018年，深度卷积网络通过合成数据集学习滤波器，提升了放大质量。2023年，自监督方法无需合成数据集，通过缩放光流放大微小运动，并支持测试时微调。2024年，事件相机与RGB双摄系统结合事件流的时间密集信息和RGB图像的空间密集数据，实现了对高频运动的经济有效放大。这些方法各有侧重，共同推动了该领域的发展。
模型创新：提升抗噪性与可读性
针对噪声和可读性问题，文章介绍了Swine Transformer模型，它增强了对噪声输入的容忍性，并能输出高品质荧光，适用于依赖放大视频序列的精确测量。轴向动作放大概念则通过Motion Separation模块，放大沿用户指定方向的分解动作，提供更易读的动作信息，可应用于对特定运动轴有关键需求的多类场景。这些创新提升了放大结果的实用性和可解释性。
应用拓展：从生理信号到3D场景
DeepMag框架基于梯度上升的端到端深度神经网络，能自动放大微妙的颜色和运动信号，即使存在大运动干扰，在放大脉搏和呼吸时产生的伪影和模糊更少。3D欧拉方法则运用欧拉原理提取和放大固定点随时间嵌入变化的3D运动，支持运动相机拍摄场景的变化和创新视角渲染，通过时间变化的辐射场表示场景，并在合成和真实场景中验证了有效性。
性能优化：动态滤波与注意力机制
EulerMormer提出动态滤波策略实现静动态场自适应降噪，并引入全局动态稀疏交叉协方差注意力机制消除噪声同时保留重要信息，以及多尺度双路径门控机制选择性调节不同频率特征依赖性，以减少空间衰减和补充运动边界。实验证明，EulerMormer从欧拉角度实现了更强大的视频运动放大，明显优于现有方法。这些优化进一步提升了放大效果和鲁棒性。
Q&A
视频运动放大技术中，基于深度学习的方法如何提升放大质量？
基于深度学习的方法通过深度卷积神经网络从示例中直接学习滤波器，并利用合成数据集进行训练，从而在真实视频上获得高质量结果。这些方法使用时间滤波器进行中度放大，且所学滤波器与以前方法中的导数滤波器有相似之处。
事件相机和RGB相机结合的双摄系统在视频运动放大中有什么优势？
双摄系统结合了事件流的时间密集信息和RGB图像的空间密集数据，能够对高频运动进行广泛且经济有效的放大，并通过深度网络解决了高频运动和微小运动放大的问题。
自监督视频运动放大方法是如何工作的？
自监督方法通过操作视频使新的光流按所需比例缩放，并设计损失函数训练模型，该函数估计生成视频的光流并惩罚其与给定放大因子的偏差。训练涉及对预训练光流网络进行微分，且可通过测试时间调整在输入视频上微调来提升性能。该方法无需合成放大数据集，还能扩展为仅放大用户选择对象的运动。
Swine Transformer模型在视频运动放大中有什么特点？
Swine Transformer模型具有更好的对噪声输入的容忍性和输出高品质荧光的能力，可用于任何依赖放大视频序列的应用程序中实现更精确的测量，为视频运动放大技术在新技术领域的进一步发展打下基础。
轴向动作放大是什么？它有什么应用价值？
轴向动作放大是一种新概念，通过Motion Separation模块学习，可以放大沿用户指定方向的分解动作，实现对特定轴运动的放大和简化，从而提供更容易阅读的动作信息，并可应用于多种应用中具有特定运动轴的关键性运动。
DeepMag框架在视频运动放大中有什么作用？
DeepMag是一种基于梯度上升的端到端深度神经网络视频处理框架，能够自动放大特定来源的微妙的颜色和运动信号，即使存在各种速度的大运动干扰。与现有最先进方法相比，DeepMag产生的放大视频具有更少的伪影和模糊，同时放大生理变化的程度类似。
3D欧拉方法如何实现运动相机场景下的视频运动放大？
3D欧拉方法运用欧拉原理提取和放大固定点随时间嵌入变化的3D运动，支持运动相机拍摄场景的变化和创新视角渲染。它通过时间变化的辐射场表示场景，并在隐含和三平面辐射场作为三维场景表示中验证了有效性，在各种摄像机设置下评估了合成和真实世界场景中的效果。
EulerMormer在视频运动放大中有什么创新？
EulerMormer提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并引入了全局动态稀疏交叉协方差注意力机制以消除噪声同时保留重要信息，以及多尺度双路径门控机制以选择性调节不同频率特征依赖性，减少空间衰减和补充运动边界。实验证明，EulerMormer从Eulerian角度实现了更强大的视频运动放大，明显优于现有方法。
