RayRoPE是一种针对多视角Transformer的位置编码方法,利用预测的射线点进行几何感知编码,通过查询帧投影坐标实现SE(3)不变性和多频相似性,并处理预测不确定性。实验表明,该方法在新视图合成和立体深度估计任务上优于现有方案,在CO3D数据集上LPIPS指标提升15%,且能有效整合RGB-D输入。
Matrix3D是一种统一模型,能够同时进行姿态估计、深度预测和新视图合成。它通过多模态扩散变换器整合图像、相机参数和深度图,采用掩码学习策略进行大规模多模态训练,显著提升训练数据的可用性。Matrix3D在姿态估计和新视图合成方面表现优异,并通过多轮交互提供精细控制,是3D内容创作的创新工具。
本研究提出了一种基于伪标注的学习策略,旨在解决新视图合成方法在特写视图生成中的不足,并推出了新的数据集以评估该方法的有效性。实验结果表明,该方法有效。
11月19日太平洋时间上午9点,将举行三场虚拟活动,聚焦上月米兰欧洲计算机视觉会议的优秀研究,演讲主题包括稀疏图像的快速真实感新视图合成等。欢迎注册参加!
本文介绍了多种基于神经辐射场(NeRF)的方法,如D-NeRF、NARF和AutoRF,旨在改进动态场景中的物体重建和渲染。这些方法通过不同技术实现了对物体形状、外观和姿态的精准估计,展现了在真实场景中的强大泛化能力和新视图合成性能。
本文提出了一种基于3D高斯喷溅(3DGS)的方法,通过深度先验和显式约束提高新视图合成的质量和效率。实验结果表明,该方法在MipNeRF-360数据集上显著提升了训练和推理性能,并在大规模场景中实现了更快的渲染和高分辨率地图生成。此外,研究还探讨了SLAM技术的改进,提出了实时高斯喷溅SLAM以优化重建质量和速度。
本文探讨了3D高斯喷涂技术在实时1080p分辨率渲染中的应用,提出了优化参数和快速渲染算法以提高性能。研究表明,该方法在减少存储需求的同时,提升了新视图合成的质量和速度,并解决了传统方法中的过拟合问题,推动了3D重建技术的发展。
本研究通过SuperGS方法解决了超高分辨率新视图合成中的低分辨率输入问题。SuperGS采用两阶段训练框架,结合多分辨率特征高斯溅射和梯度引导选择性分裂,提升了合成质量和效率。实验结果显示,SuperGS在真实数据集上表现优于现有方法。
本文提出了一系列优化3D高斯点云渲染的方法,包括学习性掩码策略、向量量化和因式化技术。这些方法显著减少了存储需求,提高了渲染质量,并在静态和动态场景中实现了高效的新视图合成,提升了重建质量和一致性,解决了高内存占用的问题。
本文介绍了多种新方法用于3D场景重建和修复,特别是利用单目深度估计和2D扩散模型进行新视图合成。NeRFiller和MVDiffusion++方法在视觉质量和计算效率上表现优异,能够实现高分辨率视图生成和对象自动添加,推动了计算机视觉的发展。
本文提出了实现高质量实时1080p新视图合成的关键要素,包括3D高斯函数表示、参数优化和可见性感知渲染算法。研究中介绍的RadSplat方法通过优化点表示,提高了渲染质量和速度,达到了900帧每秒的性能。此外,文中还综述了3D高斯喷涂方法的进展及其在形状重建和渲染中的应用潜力。
本文介绍了DL3DV-10K数据集,包含来自10,510个视频的51.2百万帧,涵盖65种场景。研究评估了最新的NVS方法,强调了大规模数据集在学习三维表示中的重要性。同时,提出了ZeroNVS模型,成功解决了复杂场景下的新视图合成问题,表现优异。
本文综述3D高斯喷洒技术进展,涵盖多尺度算法提升渲染质量与速度、压缩表示降低内存、滤波器消除高频伪影、二维网格组织参数减少存储、文本到三维生成提升真实感、实时去模糊重建清晰图像、从高斯散点图快速提取可编辑网格、密集深度图缓解过拟合、实现1080p实时新视图合成以及优化投影策略减少伪影。
本文综述了3D高斯喷洒(3DGS)技术进展:以3D高斯表示场景并优化参数,结合可见性感知渲染实现1080p实时新视图合成。相关研究涵盖实时去模糊、pixelSplat前馈重建、单图生成三维模型、稀疏视角一致性增强、Splatter Image单目重建及基于高斯的稠密SLAM,在渲染速度与质量上优于NeRF等方法,并指出未来挑战。
本文提出Head3D网络,通过自监督学习从2D主体帧预测3D头部姿势与深度图,生成可解释的3D标准头部,并结合注意力融合网络整合背景细节,实现说话人视频动作迁移。在两个公开数据集上的实验表明,该方法在跨身份场景中优于2D和3D先前方法,并能适应受控姿态的新视图合成。
该文综述基于3D高斯泼溅(3DGS)的辐射场研究进展,涵盖:稀疏训练视角下融合深度先验与显式约束以减少背景折叠和浮点伪影、提升未见视角一致性;将高斯参数组织为二维网格实现紧凑存储;GS-SLAM首次将3DGS用于SLAM并结合自适应扩张与由粗到细位姿跟踪;1080p实时新视图合成;GS-IR实现逆向渲染与重光照;掩码与向量量化压缩、GaussianEditor三维编辑、2D基础模型蒸馏语义特征、实时去模糊,以及从高斯中快速提取可编辑网格等方法。
本文综述基于3D高斯泼溅的生成与重建进展:DreamGaussian在UV空间生成3D高斯,约2分钟即可从单图生成高质量纹理网格,速度提升约10倍;GSGEN利用多尺度高斯实现文本到3D生成;另有方法通过高斯对齐与Poisson重建快速提取可编辑网格;3D高斯实时渲染支持1080p新视图合成;Splatter Image以38帧/秒实现单目重建;压缩高斯表示可降低内存占用并提升渲染效率。
文章综述了3D高斯泼溅(3DGS)在实时新视图合成中的进展:以3D高斯表示场景并优化参数,结合可见性感知渲染实现1080p实时渲染;可变形3D高斯用于动态场景重建;无需SfM预处理的新视图合成;多尺度3DGS缓解锯齿;Splatter Image实现单目三维重建;pixelSplat从图像对重建辐射场;文本到三维生成;神经隐式表面重建;以及稀疏视角下的一致性改进。
本文提出了一种利用相机运动先验来建模视角相关的外观或效果的方法,通过识别光斑来融入负视差。同时,提出了一种近似方法来提高从单张图像进行新视图合成的效率。实验证明,该方法在RealEstate10k和MannequinChallenge数据集上优于其他方法。
本研究提出了一种新颖的3D感知说话人视频动作迁移网络Head3D,能够从2D主体帧中充分利用主体外貌信息,以适应驱动视频帧对齐。该方法能够生成可视化可解释的3D标准头部,并在跨身份设置中优于2D和3D先前方法。实验结果表明该方法能够轻松适应受控姿态的新视图合成任务。
完成下面两步后,将自动完成登录并继续当前操作。