Transientangelo：利用单光子激光雷达进行少视点表面重建
内容提要
本文介绍了一种新型后投影技术，通过三次散射空间时间流形重建隐藏几何形状，提升了非直视重建的速度和质量。同时，研究提出了基于单光子激光雷达和神经渲染的多视角视频合成方法，有效恢复复杂3D形状和场景特征，适用于自动驾驶和机器人技术等领域。
延伸解读
技术脉络：从非直视重建到瞬态神经渲染
文章梳理了单光子激光雷达表面重建的多个技术节点：2017年提出基于三次散射空间时间流形交点的后投影技术，实现更快更高质量的非直视重建；2020年采用卷积前馈神经网络解决复杂非线性细节重建，并能泛化到SPAD测量数据；2023年提出瞬态NeRFs，利用时间分辨光子计数直方图渲染，在少量视点下优于点云监督方法。这些进展共同推动了隐藏几何与复杂场景的恢复能力。
应用方向：自动驾驶与机器人感知的潜力
文章指出，瞬态NeRFs对于在自动驾驶、机器人技术和遥感领域中模拟原始激光雷达测量的下游任务特别有用。此外，基于单光子相机的方法能重建任意兰伯特物体3D形状，连接了基于图像建模和主动式范围扫描；动态表面重建方法则通过全局优化降低预测表面与LiDAR扫描数据的距离，并实现刚性移动物体的运动补偿，展示了在自动标记和真实注释生成方面的应用。
方法创新：神经渲染与可微分优化
文章强调了神经渲染与可微分优化在提升重建质量中的作用。例如，通过可微分渲染流水线模拟瞬态成像过程，直接优化场景几何以匹配观测，在3800个测量点上验证，大多数场景性能比专有距离估计基准提高一个数量级。瞬态场框架将三维点和二维方向映射到高维离散时间信号，能自然考虑光的有限速度效应，渲染散射、镜面反射、折射和衍射等复杂效果。
硬件进展：极化波前与超快成像设备
文章介绍了硬件层面的创新：长距离极化波前激光雷达传感器（PolLidar）利用极化波前估计室外场景的法线、距离和材料特性，提高了场景重建准确性；超快成像设备以皮秒级时间分辨率捕捉首个多视角视频数据集，支持从新颖移动视角合成光传播视频。这些硬件进步为算法提供了更丰富的数据基础，并改善了传感器空间和时间分辨率的实际限制。
Q&A
什么是后投影技术，它的主要优势是什么？
后投影技术通过三次散射空间时间流形重建隐藏几何形状，提升了非直视重建的速度和质量。
如何利用单光子激光雷达进行3D形状重建？
单光子激光雷达通过时间分辨光子计数直方图渲染瞬态NeRFs，能够更好地恢复复杂的3D形状和场景特征。
该研究如何解决超出直线视野的成像问题？
研究采用卷积前馈神经网络来处理复杂非线性细节重建问题，能够高效生成训练数据。
动态表面重建方法的主要特点是什么？
动态表面重建方法通过全局优化降低预测表面与输入LiDAR扫描数据的距离，实现运动补偿。
该技术在自动驾驶和机器人技术中有哪些应用？
该技术能够模拟原始激光雷达测量，适用于自动驾驶和机器人技术中的复杂3D形状恢复。
如何提高场景重建的准确性？
通过使用长距离极化波前激光雷达传感器，可以提高场景重建的准确性，估计法线、距离和材料特性。
