3DGS在新视角合成领域取得突破,采用量化嵌入和渐进式训练策略,显著降低存储需求和加快训练速度,同时保持重建质量,存储需求减少10-20倍,适用于内存受限场景。
从单一输入图像合成新视角是一项挑战。我们采用现代扩散模型架构进行端到端的新视角合成,显著超越了以往技术。实验表明,几何信息编码方法对性能提升有限,而改进的生成模型效果更佳。此外,我们引入了一种新训练方案,利用单视图数据集,增强了对域外内容场景的泛化能力。
本研究提出了DrivingRecon模型,旨在解决现有自动驾驶场景重建方法在实时性和效率上的不足。该模型能够从视频中预测4D高斯表示,显著提升场景重建质量和新视角合成,适用于模型预训练、车辆适应和场景编辑等领域。
本研究提出的Splatt3R方法实现了非校准立体图像的3D重建与新视角合成,消除了对相机参数和深度信息的依赖。该方法优化了3D点云几何损失,显著提升了自然图像的性能与泛化能力,能够以512 x 512分辨率以4FPS速度实时渲染场景。
GauStudio是一个模块化框架,用于3D高斯飞溅建模,提供即插即用组件,便于定制流程。其混合高斯表示方法减少了户外场景伪影,改善新视角合成,实现高保真网格重建,无需微调。整体提升了建模和渲染能力。
本研究提出了一种高保真面部建模方法,只需三张图像即可生成细节丰富的面孔。通过训练隐式先验,该方法在新视角合成上表现出色,实验结果优于现有技术,具有重要影响。
本文介绍了一种新型的逆向渲染方法GS-IR,通过前向映射体积渲染实现逼真的新视角合成和重新照明结果。该方法通过对多视图图像进行捕捉,估计场景几何、表面材质和环境照明,克服了先前方法的问题。通过引入正则化和遮挡模拟间接光照,提出了一个高效的优化方案。定性和定量评估证明了该方法的优越性。
本文介绍了一种新型的逆向渲染方法GS-IR,通过前向映射体积渲染实现逼真的新视角合成和重新照明结果。该方法通过对多视图图像进行捕捉,估计场景几何、表面材质和环境照明,克服了先前方法的问题。通过引入正则化和遮挡模拟间接光照,提出了一个高效的优化方案。通过定性和定量评估,证明了该方法的优越性。
本文介绍了一种基于3D高斯零碎描绘的新型逆向渲染方法GS-IR,通过前向映射体积渲染实现逼真的新视角合成和重新照明结果。该方法通过对多视图图像进行捕捉,估计场景几何、表面材质和环境照明,解决了先前方法在表达能力和计算复杂性上的问题。GS-IR通过引入正则化和遮挡模拟间接光照,提出了一个高效的优化方案来解决逆向渲染时遇到的问题。通过定性和定量评估,证明了该方法的优越性。
NGP-RT是一种新方法,用于提高Instant-NGP的渲染速度和实时新视角合成。NGP-RT通过存储颜色和密度,并利用注意力机制解决延展性问题。实验结果表明,NGP-RT在Mip-NeRF360数据集上的渲染质量优于以往的NeRF方法,并在单个Nvidia RTX 3090 GPU上以1080p分辨率实现了108fps的渲染速度。
本文提出了一种将新视角合成应用于机器人重定位问题的方法,通过NeRF算法渲染额外合成数据集,选择虚拟相机位置,改进了姿态回归器的定位精度。结果显示,该方法在Cambridge地标和7景数据集上的误差大幅降低,并与基于结构的方法相媲美。该方法无需架构修改或领域适应性约束,可以产生大量训练数据。研究还发现,相机姿态回归的精度主要受到数据集大小和分布的限制,而非姿态回归模型的能力。同时,采用合成的逼真图像进行数据增强。
本文提出了一种将新视角合成应用于机器人重定位问题的方法,通过渲染额外合成数据集并选择虚拟相机位置,改进了姿态回归器的定位精度。该方法在公共基准数据集上进行训练,结果显示姿态回归精度受到数据集大小和分布的限制。同时,采用合成的逼真图像进行数据增强。
该研究提出了一种名为DIG3D的新方法,利用单视角RGB图像进行三维重建和新视角合成。通过编码器的深度感知图像特征指导解码器生成三维高斯图像,通过可变形变换器进行高效解码。在ShapeNet SRN数据集上评估,结果表明该方法在三维重建方面具有高效和准确的解决方案。
神经辐射场(NeRF)在计算机视觉和图形领域取得了显着进展,为解决3D场景理解、新视角合成、人体重建、机器人等任务提供了技术支持。本文分析了过去两年内关于NeRF的研究文献,讨论了改进策略和应用案例,介绍了模型训练所需的关键资源,并提出了未来发展趋势和挑战。
DIG3D是一种利用单视角RGB图像进行三维重建和新视角合成的新方法。通过深度感知图像特征指导解码器生成三维高斯图像,并引入可变形变换器进行高效解码。在ShapeNet SRN数据集上评估结果表明,该方法在汽车和椅子数据集上的PSNR分别提高了约2.25%,证明了其有效性。
神经辐射场(NeRF)在计算机视觉和图形领域取得显著进展,为解决3D场景理解、新视角合成、人体重建、机器人等任务提供技术支持。本文分析了过去两年内关于NeRF的研究文献,讨论了改进策略和应用案例,并介绍了模型训练所需的关键资源。同时,提出了NeRF未来发展趋势和潜在挑战的前瞻性讨论。
神经辐射场(NeRF)在计算机视觉和图形领域取得了显着进展,为解决3D场景理解、新视角合成、人体重建、机器人等任务提供了技术支持。本文分析了过去两年内关于NeRF的研究文献,讨论了改进策略和应用案例,介绍了训练所需资源,并展望了未来发展趋势和挑战。
完成下面两步后,将自动完成登录并继续当前操作。