DiffSSC:使用去噪扩散概率模型进行语义LiDAR扫描完整性填充

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

SLCF-Net通过结合LiDAR和相机数据进行语义场景补全。它使用预训练的2D U-Net进行图像分割,并从Depth Anything中获取深度信息,将2D特征投射到3D场景。通过3D U-Net计算语义,并设计新损失函数确保时间一致性。在SemanticKITTI数据集上表现出色。

🎯

关键要点

  • SLCF-Net是一种新颖的方法,通过顺序融合LiDAR和相机数据进行语义场景补全。
  • 该方法联合估计RGB图像序列和稀疏LiDAR测量中的缺失几何和语义信息。
  • 使用预训练的2D U-Net对图像进行语义分割,并从Depth Anything中估计密集的深度先验。
  • 通过高斯衰减深度先验投影将2D图像特征投射到3D场景体积中。
  • 使用3D U-Net计算体积语义,并通过传感器运动传播隐藏的3D U-Net状态。
  • 设计了一种新的损失函数以确保时间一致性。
  • 在SemanticKITTI数据集上评估SLCF-Net,结果显示其在所有语义场景补全指标上表现出色。
➡️

继续阅读