神经辐射场
内容提要
该文章介绍了基于体渲染技术的神经辐射场（NeRF）技术，通过神经网络将3D场景表示为连续函数。NeRF通过训练从不同视角拍摄的场景图像集来优化。文章还讨论了位置编码和分层体采样等优化方法。
延伸解读
NeRF 的核心表示与训练方式
NeRF 将 3D 场景表示为一个连续函数，该函数把 3D 位置和 2D 视角方向映射为发射颜色和体积密度。这个函数由神经网络参数化，并通过从不同视角拍摄的图像集进行训练。训练目标是最小化渲染颜色与观察颜色之间的误差，由于体渲染过程可微分，整个网络可以端到端地用梯度下降优化。
位置编码为何重要
神经网络通常偏向学习低频函数，直接输入坐标和方向可能导致渲染图像分辨率不足。位置编码通过傅里叶特征将输入映射到高频空间，使网络能直接获得高频特征，从而提升对细节的学习能力。具体实现中，编码函数对每个分量应用不同频率的正余弦变换，将原始输入扩展为高维表示。
分层体采样如何提升质量
体渲染质量对采样位置敏感，稀疏且无信息的采样会导致渲染图像出现噪声。分层体采样策略先使用无信息采样训练一个粗略网络，根据预测的体积密度计算各采样点的颜色贡献权重，再基于这些权重进行更信息化的采样，训练精细网络。这种由粗到细的优化能改善最终渲染质量。
Q&A
神经辐射场（NeRF）是什么技术？
神经辐射场（NeRF）是一种将3D场景表示为连续函数的技术，通过神经网络将3D位置和视角方向映射到发射颜色和体积密度。
NeRF是如何优化的？
NeRF通过训练不同视角的场景图像集，最小化观察到的颜色与估计颜色之间的误差来优化神经网络。
位置编码在NeRF中有什么作用？
位置编码通过傅里叶特征编码提高神经网络对高频特征的学习能力，从而改善渲染图像的分辨率。
什么是分层体采样策略？
分层体采样策略用于改善体渲染质量，首先训练粗略神经网络，然后通过更具信息量的采样策略进行细化。
NeRF的体积渲染质量受什么影响？
NeRF的体积渲染质量对采样位置的敏感性要求优化采样策略，以确保渲染图像的清晰度和准确性。
NeRF的训练过程是否简单？
虽然NeRF的训练过程看似简单，但没有一些优化技巧，神经网络的质量可能不会理想。
