Matrix3D是一种统一模型,能够同时进行姿态估计、深度预测和新视图合成。它通过多模态扩散变换器整合图像、相机参数和深度图,采用掩码学习策略进行大规模多模态训练,显著提升训练数据的可用性。Matrix3D在姿态估计和新视图合成方面表现优异,并通过多轮交互提供精细控制,是3D内容创作的创新工具。
本研究提出了一种基于伪标注的学习策略,旨在解决新视图合成方法在特写视图生成中的不足,并推出了新的数据集以评估该方法的有效性。实验结果表明,该方法有效。
11月19日太平洋时间上午9点,将举行三场虚拟活动,聚焦上月米兰欧洲计算机视觉会议的优秀研究,演讲主题包括稀疏图像的快速真实感新视图合成等。欢迎注册参加!
本文介绍了多种基于神经辐射场(NeRF)的方法,如D-NeRF、NARF和AutoRF,旨在改进动态场景中的物体重建和渲染。这些方法通过不同技术实现了对物体形状、外观和姿态的精准估计,展现了在真实场景中的强大泛化能力和新视图合成性能。
本文提出了一种基于3D高斯喷溅(3DGS)的方法,通过深度先验和显式约束提高新视图合成的质量和效率。实验结果表明,该方法在MipNeRF-360数据集上显著提升了训练和推理性能,并在大规模场景中实现了更快的渲染和高分辨率地图生成。此外,研究还探讨了SLAM技术的改进,提出了实时高斯喷溅SLAM以优化重建质量和速度。
本文探讨了3D高斯喷涂技术在实时1080p分辨率渲染中的应用,提出了优化参数和快速渲染算法以提高性能。研究表明,该方法在减少存储需求的同时,提升了新视图合成的质量和速度,并解决了传统方法中的过拟合问题,推动了3D重建技术的发展。
本研究通过SuperGS方法解决了超高分辨率新视图合成中的低分辨率输入问题。SuperGS采用两阶段训练框架,结合多分辨率特征高斯溅射和梯度引导选择性分裂,提升了合成质量和效率。实验结果显示,SuperGS在真实数据集上表现优于现有方法。
本文提出了一系列优化3D高斯点云渲染的方法,包括学习性掩码策略、向量量化和因式化技术。这些方法显著减少了存储需求,提高了渲染质量,并在静态和动态场景中实现了高效的新视图合成,提升了重建质量和一致性,解决了高内存占用的问题。
本研究提出了MagicMan,一个专为人类设计的多视图扩散模型,可生成高质量的新视图图像。研究表明,该方法显著提高了新视图合成和3D人类重建任务的表现。
本研究提出了一种名为MVDiffusion++的神经架构,用于3D物体重建。该架构通过图像生成物体的密集高分辨率视图,实现了3D一致性和密集高分辨率视图合成。实验结果表明,MVDiffusion++在新视图合成和3D重建方面优于当前技术水平。该架构还可应用于文本到3D的生成模型。
该文章介绍了一种用于野外场景下的单图像新视图合成的三维感知扩散模型ZeroNVS。通过训练生成式先验模型来处理多物体场景和复杂背景的挑战,并提出了相机条件参数化和归一化方案来解决深度尺度的二义性问题。作者还注意到Score Distillation Sampling(SDS)在蒸馏360度场景时倾向于截断复杂背景的分布,并提出了“SDS anchoring”以改善合成新视图的多样性。该模型在DTU数据集的零样本设置中取得了新的LPIPS优势,并在Mip-NeRF 360数据集上展现出强大的性能。
该文章介绍了一种用于野外场景下的三维感知扩散模型ZeroNVS,用于单图像新视图合成。通过训练生成式先验模型来处理多物体场景和复杂背景的挑战,并提出了相机条件参数化和归一化方案来解决深度尺度的二义性问题。作者还提出了“SDS anchoring”以改善合成新视图的多样性。该模型在DTU数据集的零样本设置中取得了新的LPIPS优势,并在Mip-NeRF 360数据集上展现出强大的性能。
本文介绍了一种用于野外场景下的单图像新视图合成的三维感知扩散模型ZeroNVS。通过训练生成式先验模型和提出新的相机条件参数化和归一化方案,解决了多物体场景和复杂背景带来的挑战。同时,通过改进Score Distillation Sampling(SDS)和提出“SDS anchoring”,改善了合成新视图的多样性。该模型在DTU数据集的零样本设置中表现出优势,并在Mip-NeRF 360数据集上展现了强大的性能。
ProvNeRF模型通过建模每个3D点的来源和相关信息为稀疏的随机过程,丰富了传统的NeRF表示。与现有方法相比,该模型具有不确定性估计、基于准则的视图选择和提高新视图合成的优势。
本文提出了一种利用相机运动先验来建模视角相关的外观或效果的方法,通过识别光斑来融入负视差。同时,提出了一种近似方法来提高从单张图像进行新视图合成的效率。实验证明,该方法在RealEstate10k和MannequinChallenge数据集上优于其他方法。
本研究提出了一种新颖的3D感知说话人视频动作迁移网络Head3D,能够从2D主体帧中充分利用主体外貌信息,以适应驱动视频帧对齐。该方法能够生成可视化可解释的3D标准头部,并在跨身份设置中优于2D和3D先前方法。实验结果表明该方法能够轻松适应受控姿态的新视图合成任务。
完成下面两步后,将自动完成登录并继续当前操作。