AONeuS: 声光传感器融合的神经渲染框架
内容提要
该文综述水下三维重建与感知技术，涵盖基于神经渲染的合成孔径声纳成像、AUV实时稠密重建、GAN水下图像增强、NeuS及HF-NeuS神经表面重建、声纳描述符、海底公顷级机器人重建、NoPose-NeuS相机位姿联合优化以及Achelous水面全景感知框架。
延伸解读
水下感知的挑战与多模态融合
水下环境存在光吸收、水浑浊度等问题，导致传统视觉算法效果不佳，而声纳图像虽能穿透浑浊水体，但传统视觉算法对其处理效果差。卷积神经网络需要大量标记数据，水下场景难以获取。因此，融合声光传感器、利用合成数据生成和域适应技术成为提升水下感知鲁棒性的关键方向。
神经渲染推动水下三维重建
神经渲染技术如NeuS、HF-NeuS和NoPose-NeuS，通过将表面表示为SDF零水平集，并改进体积渲染和优化策略，实现了高保真表面重建。这些方法也被扩展至水下场景，结合声纳成像和相机位姿联合优化，提升了重建质量。NoPose-NeuS在DTU数据集上平均Chamfer距离为0.89，展示了其有效性。
实时重建与大规模海底测绘
针对AUV的实时稠密三维重建方法，利用鲁棒VIO和重建管道，在单CPU上实现高帧率，并获得与COLMAP可比的结果。同时，公顷级海底机器人重建系统通过多次航行测试，展示了在真实条件下的稳定性和实用性，为大规模海底测绘提供了可行方案。
水面全景感知框架Achelous
Achelous是一个低成本、快速的水面全景感知框架，融合单目相机和4D毫米波雷达，能同时执行视觉目标检测与分割、可驾驶区域分割、水线分割和雷达点云分割五个任务。这种多任务统一框架提升了水面感知的效率和鲁棒性，适用于自主导航等场景。
Q&A
AONeuS 是什么？它主要解决什么问题？
AONeuS 是一个声光传感器融合的神经渲染框架，用于水下三维重建与感知。它通过结合声纳和光学传感器，利用神经渲染技术，解决水下环境中光吸收、水浑浊度等因素导致的传统视觉算法效果差的问题。
AONeuS 中使用了哪些神经渲染技术？
AONeuS 使用了基于神经渲染的合成孔径声纳（SAS）成像、NeuS 和 HF-NeuS 神经表面重建、NoPose-NeuS 相机位姿联合优化等技术。
AONeuS 如何实现水下三维重建？
AONeuS 通过融合声纳和光学传感器数据，使用神经渲染方法如 NeuS 和 HF-NeuS 进行表面重建，并利用 NoPose-NeuS 联合优化相机位姿、几何和颜色网络，从而实现高质量的水下三维重建。
AONeuS 在水下感知方面有哪些应用？
AONeuS 可用于水下三维重建与感知，包括基于神经渲染的合成孔径声纳成像、AUV 实时稠密重建、GAN 水下图像增强、海底公顷级机器人重建以及水面全景感知框架 Achelous 等。
AONeuS 相比现有方法有什么优势？
AONeuS 通过声光传感器融合和神经渲染技术，能够克服水下环境的光吸收和水浑浊度问题，实现高保真度的三维重建，并在实验中表现优于现有方法。
AONeuS 中如何处理水下图像质量问题？
AONeuS 使用生成对抗网络（GANs）来提高可视水下场景质量，为水下机器人视觉驱动任务提供更好的输入，同时通过视频增强、关键帧选择等技术解决图像质量问题。
