Crowdsourced NeRF: Collecting Data from Production Vehicles for 3D Street Scene Reconstruction
内容提要
本文介绍了一种新的街景神经辐射场模型（S-NeRF），通过改进场景参数化和神经表示，解决了现有模型在街景合成中的问题。S-NeRF在多个大规模驾驶数据集上表现优越，均方误差减少7%至40%，移动车辆渲染的PSNR提升45%。此外，提出的Drone-NeRF框架利用NeRF增强无人机摄影的场景重建，解决了复杂性和渲染效率问题。
延伸解读
S-NeRF 如何提升街景合成质量
S-NeRF 通过改进场景参数化函数和神经表示，并利用嘈杂稀疏的 LiDAR 点云增强训练鲁棒性，有效减少了深度奇异值。实验表明，在大规模驾驶数据集上，其均方误差比现有最先进方法降低了 7% 至 40%，移动车辆渲染的 PSNR 提升了 45%。这些改进意味着在自动驾驶仿真等应用中，可以生成更准确、更逼真的街景新视角。
Drone-NeRF 针对无人机场景的重建策略
Drone-NeRF 框架专为无人机倾斜摄影设计，通过根据相机位置和深度可见性将无界大规模场景划分为均匀子块，并行训练子场景后合并。它优化相机姿态，使用均匀采样器引导 NeRF，并集成哈希编码与 MLP 加速密度表示，最终输出 RGB 和深度。该框架解决了场景复杂性、渲染效率和图像准确性的挑战，为无人机航拍重建提供了高效方案。
众包与去中心化 NeRF 的探索
DecentNeRF 是首个去中心化、众包的 NeRF 方法，它将用户 3D 视图分解为个人和全局 NeRF，通过最优加权聚合学习照片级真实感场景表示。与集中式方法相比，它减少了服务器计算成本，并分析了安全聚合如何最小化服务器对个人内容的不良重建。这为利用众包数据重建大规模场景提供了新思路，但实际部署仍需考虑通信和隐私问题。
Q&A
S-NeRF模型的主要创新点是什么？
S-NeRF模型通过改进场景参数化和神经表示，解决了现有模型在街景合成中的问题。
S-NeRF在街景合成中的表现如何？
S-NeRF在多个大规模驾驶数据集上表现优越，均方误差减少7%至40%。
移动车辆渲染的PSNR提升了多少？
移动车辆渲染的PSNR提升了45%。
Drone-NeRF框架的主要功能是什么？
Drone-NeRF框架利用NeRF增强无人机摄影的场景重建，解决了复杂性和渲染效率问题。
S-NeRF如何提高训练的鲁棒性？
S-NeRF使用嘈杂和稀疏的LiDAR点来提高训练的鲁棒性，减少深度奇异值出现的情况。
DecentNeRF与传统方法相比有什么优势？
DecentNeRF通过去中心化的方式减少了服务器计算成本，并实现了更高效的场景表示学习。
