带有中间畸变流估计的卷帘快门校正
内容提要
本文提出了一种改进的运动结构法（SfM）算法，能够在滚动快门影响下估计相对姿态，并提供9点算法复原相机姿态。研究了基于双重滚动快门的成像方法和自适应扭曲模型，展示了在动态场景中消除滚动快门效应的有效性。此外，提出了自监督训练的DRSC网络框架和基于深度学习的校正方法，均显示出优于现有技术的性能。
延伸解读
滚动快门校正的技术演进
文章梳理了从2019年到2023年滚动快门校正领域的技术发展。早期方法基于几何模型，如改进的SfM算法和9点算法，通过估计相机姿态来校正畸变。随后，研究转向基于双重滚动快门和自适应扭曲模型的方法，并引入深度学习，如自监督的DRSC网络和上下文感知的全局快门视频重建。这一演进显示了从传统几何方法到数据驱动方法的转变，并越来越注重动态场景和实际应用。
动态场景与自监督学习的挑战
滚动快门校正的核心挑战在于动态场景中相机和物体的同时运动，这导致严重的病态问题。文章提到，当缺乏运动先验知识时，校正变得尤为困难。为此，研究者探索了事件感知和自监督方法，例如利用事件相机数据指导自监督学习框架，以及基于双向反向RS图像的自监督训练。这些方法旨在减少对标注数据的依赖，并提高在真实场景中的泛化能力。
数据集与评估基准的建立
为了推动滚动快门校正的研究，文章介绍了BS-RSC和BS-RSCD等数据集。BS-RSCD是第一个包含动态场景中实际扭曲和模糊视频的数据集，并提出了学习模型JCD，在真实和合成数据集上均达到最先进性能。这些数据集的建立为算法评估提供了基准，有助于比较不同方法在现实条件下的效果，并促进更鲁棒校正模型的发展。
Q&A
什么是改进的运动结构法（SfM）算法？
改进的运动结构法（SfM）算法能够在滚动快门影响下估计相对姿态，并提供9点算法复原相机姿态。
如何消除滚动快门效应？
通过基于双重滚动快门的成像方法和自适应扭曲模型，可以有效消除滚动快门效应。
DRSC网络框架的主要功能是什么？
DRSC网络框架能够校正滚动快门失真，并生成高帧率全局快门视频。
BS-RSCD数据集的用途是什么？
BS-RSCD数据集用于提高模型在现实情况下消除滚动快门效应的能力，包含动态场景中的实际扭曲和模糊视频。
基于深度学习的滚动快门校正方法有什么优势？
该方法使用相邻帧的图像进行矫正，能够在全局快门图像的中间时间点上预测出该图像，效果优于现有方法。
如何实现视频畸变纠正？
通过开发包含时空设计的改进算法，利用光学系统可以实现视频畸变纠正，取得更高效的结果。
