OSN：来自单目视频的动态 3D 场景的无限表示
内容提要
本文介绍了一种基于无监督学习的动态视图合成方法，结合3D运动建模和神经网络场景表示，从RGB-D视频中学习物体级别的表示，提升合成质量和准确性。研究提出自监督学习方法，通过2D图像合成高质量3D对象，并实现细粒度视角控制。此外，Free3D方法通过单张图像进行新视角合成，展示了优越的泛化性能。
延伸解读
技术演进脉络
文章梳理了从2019年到2024年动态3D场景表示的发展历程。早期工作如2019年的单眼光度一致性方法，专注于联合训练深度、自我运动估计和物体三维平移场；2020年引入神经辐射场表示动态实景；2021年则通过单视图四维分解和密集光线投射克服遮挡挑战。这些进展逐步解决了动态场景建模中的关键问题，为后续无监督和自监督方法奠定了基础。
无监督与自监督的突破
2023年的研究突出了无监督和自监督学习的进展。例如，基于分解动态物体运动和相机运动的方法，利用非监督表面一致性和路径多视图约束，实现了准确的3D运动建模；可伸缩的无监督面向对象中心表示学习，能推断和维护3D场景的对象中心表示；自监督方法通过深度引导调整，仅用2D图像合成高质量3D对象，并实现细粒度六自由度视角控制。这些方法减少了对标注数据的依赖。
Free3D的泛化能力
Free3D方法通过单张图像进行新视角合成，其核心是像素级射线调节归一化层，改进了目标相机姿势建模，并结合轻量级多视图注意力层和多视图噪声共享提高一致性。在Objaverse数据集上训练后，Free3D在多个新数据集上展示了卓越的泛化性能，为未来新视角合成研究提供了坚实基准。
应用与可解释性
基于神经网络的场景表示方法可直接从RGB-D视频中学习物体级别的神经表示，具有显式的对象运动编码和/或变形编码，评估表明其具有高效性、可解释性和可编辑性。此外，DSR-Net模型通过同时发现、跟踪、重构对象及预测动态，在仿真和实际数据上实现了3D场景动力学建模的最新性能，结合模型预测控制，为机器人操作任务如平面推动提供了准确规划能力。
Q&A
动态视图合成方法的核心是什么？
动态视图合成方法的核心是基于分解动态物体运动和相机运动，通过非监督表面一致性和基于路径的多视图约束实现准确的3D运动建模。
Free3D方法有什么特点？
Free3D方法通过单张图像进行新视角合成，使用新的像素级射线调节归一化层，展示了优越的泛化性能。
自监督学习在3D对象合成中如何应用？
自监督学习通过深度引导的调整过程，在只有2D图像的情况下合成高质量的3D对象，并实现细粒度的六自由度视角控制。
该研究如何提高3D场景表示的准确性？
研究通过可伸缩的无监督面向对象中心的3D场景表示学习方法，推断和维护3D场景的对象中心表示，从而提高准确性。
RGB-D视频在3D场景表示中有什么作用？
RGB-D视频可以直接用于学习物体级别的神经表示，具有高效性、可解释性和可编辑性。
该研究的主要贡献是什么？
该研究提出了一种基于无监督学习的动态视图合成方法，结合3D运动建模和神经网络场景表示，提升了合成质量和准确性。
