基于滚动快门光场图像的联合三维形状和运动估计

我们提出了一种方法来解决由具有滚动快门传感器的光场相机拍摄的单幅图像的三维场景重建问题。我们的方法利用光场中存在的三维信息线索和滚动快门效应提供的运动信息。我们提出了一个适用于该传感器的成像过程的通用模型和一个两阶段算法，该算法能在考虑相机的位置和运动的情况下，最小化重新投影误差，并采用运动 - 形状捆绑调整估计策略。从而，我们提供了一种瞬时的三维形状 - 姿态 - 速度感知范例。据我们所知，这是第一项利用这种传感器进行这种目的的研究。我们还提供了一个由展示滚动快门效应的不同光场组成的新的基准数据集，可用作改进该领域评估和跟踪进展的共同基础。我们通过几个针对不同场景和运动类型的实验来展示我们方法的有效性和优势。源代码和数据集可在此 https URL 公开访问。