NGP-RT：融合多级哈希特征与轻量级注意力用于实时新视角合成
内容提要
本文介绍了新型神经辐射场（NeRF）表示方法，旨在提升实时渲染的效率和质量。通过低质量网格、压缩模型和高效哈希编码，研究实现了在边缘设备上的快速渲染，显著降低了存储需求和训练时间，同时保持高重建质量。这些方法在多个场景中表现优异，推动了3D重建技术的发展。
延伸解读
实时渲染的边缘设备突破
MixRT 方法通过低质量网格、视角依赖位移图和压缩 NeRF 模型，在 MacBook M1 Pro 上以 1280x720 分辨率实现超过 30 FPS 的实时渲染，存储需求比最先进方法减少 80% 以上。这表明 NeRF 渲染正从高端 GPU 向边缘设备扩展，为移动端和嵌入式应用提供了可能。
训练效率的显著提升
混合特征哈希表框架 MF-NeRF 提高了内存利用率，在相同 GPU 上训练速度超过 Instant-NGP、TensoRF 和 DVGO，且重建质量相似或更高。SAT-NGP 将卫星图像学习时间缩短至 15 分钟，快速变形辐射场处理动态场景仅需 20 分钟，比 D-NeRF 快 70 倍以上。这些进展大幅降低了训练成本。
渲染质量与泛化能力
直接渲染特征向量的方法降低了神经网络评估复杂度，同时保持良好渲染质量。基于 transformers 的架构在多个场景中达到最先进性能。极线几何法提取场景块的方法在未见场景的新视图合成中展现出更好的泛化性能，即使训练数据更少也能超越现有技术。
Q&A
MixRT 是什么？
MixRT 是一种新型的神经辐射场（NeRF）表示方法，结合低质量网格和压缩模型，实现了在边缘设备上的实时渲染。
MixRT 的渲染速度和存储需求如何？
MixRT 的渲染速度超过 30 FPS，存储需求减少了 80%。
该研究如何提高训练速度和重建质量？
研究提出的混合特征哈希表框架提高了内存利用率，减少了训练时间，同时保持了重建质量。
如何处理未见过的场景？
通过极线几何法提取场景块并进行预处理，研究实现了对未见过场景的新视图综合，具有更好的泛化性能。
卫星神经图形基元（SAT-NGP）模型的优势是什么？
SAT-NGP 模型通过高效采样策略和多分辨率哈希编码，将学习时间缩短至 15 分钟，同时保持了 3D 重建质量。
快速变形辐射场方法的训练时间和性能如何？
快速变形辐射场方法的训练时间仅需 20 分钟，性能与 D-NeRF 相当，速度快 70 倍以上。
