S4C:自我监督的神经场景补全
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了一种名为 S4C 的第一种自我监督方法,不依赖于 3D 完整数据,能够从单张图像中重建场景,并且只依赖于视频和训练期间从现成图像分割网络生成的伪分割地面实况。与现有方法不同,我们将场景表示为隐式语义场,通过渲染为基础的自我监督损失训练我们的架构,取得了接近完全监督最新方法的性能,并且表现出强大的泛化能力,可以为远距离视点合成准确的分割地图。
MonoScene提出了一种3D语义场景完成框架,可以从单个单眼RGB图像推断出场景的密集几何和语义,并解决2D到3D的场景重建问题。该框架引入了3D上下文关系先验以实现空间-语义一致性,实验结果表明在所有指标和数据集上均优于先前的研究,甚至能够虚构出超出镜头视野的逼真场景。