SDGE: 面向 360° 相机集合的立体引导深度估计
内容提要
该文综述深度估计技术进展，涵盖GP²训练方案、门控立体、置信度引导3D检测、多摄像头SurroundDepth、自学习EGA-Depth、360°球面视差、实时SGM及GTA-V合成数据集，提升自动驾驶场景的精度与效率。
延伸解读
多摄像头与360°深度估计的进展
文章介绍了SurroundDepth和EGA-Depth等多摄像头深度估计方法，它们利用跨视图变换器和自学习注意力结构，在DDAD和nuScenes数据集上取得最佳成绩，并实现机体运动一致性。此外，针对360°图像的球面视差问题，有研究提出可移位滤波器构建代价体积，缓解失真，提升鲁棒性和准确性。这些工作共同推动了自动驾驶场景下全景深度感知的发展。
立体视觉与主动传感的融合
Gated Stereo技术结合主动门控飞行时间强度线索与被动立体图像，通过单目和立体分支组合，在160米范围内比单目门控方法降低74%的MAE，比最佳RGB立体方法提升50%以上。同时，置信度引导的立体3D检测方法利用深度估计网络的置信度作为软注意力机制，在KITTI基准上优于现有检测器。这表明融合多模态线索能显著提升深度估计与检测性能。
训练策略与合成数据的价值
GP²训练方案利用立体图像数据训练单视图深度估计模型，在保持几何结构的同时提高准确度和速度，且在小规模完备数据集下也能学习准确深度预测。GTA-V生成的HRSD合成数据集包含10万张彩色图像和密集深度图，训练DPT算法使深度估计精度提高9%，结合特征提取和注意力损失可提升15%。这些方法为数据稀缺场景提供了有效解决方案。
实时深度估计与嵌入式应用
文章提到一种基于Semi-Global Matching算法的实时系统，可嵌入低功耗GPU设备，在640x480分辨率、128个视差级别和4个路径方向下达到每秒42帧，满足机器人、高级驾驶辅助系统和自主车辆的需求。这显示了深度估计技术在实时性和功耗约束下的可行性，为实际部署提供了参考。
Q&A
GP²训练方案是什么？它有什么优势？
GP²是一种利用立体图像数据训练单视图深度估计模型的训练方案。它能在保持几何结构的同时提高模型的准确度和速度，并且即使在使用很少完备数据集的情况下也能学习到准确的深度预测。
Gated Stereo技术如何实现高分辨率和长距离深度估计？
Gated Stereo利用主动门控立体图像，结合主动和高动态范围的被动捕获，使用多视图线索以及来自主动门控的飞行时间强度线索。它通过单目和立体深度预测分支组合，每个块都通过监督和门控自监督损失进行监督，并获取了长距离同步门控立体数据集。
SurroundDepth方法有什么特点？它在哪些数据集上取得了最佳成绩？
SurroundDepth是一种新型深度估计方法，运用多摄像头技术和跨视图变换器，实现了自动驾驶中深度地图的精准预测，并在多视角实现机体运动一致性。它在DDAD和nuScenes两个数据集上取得了最佳成绩。
EGA-Depth是什么？它有什么作用？
EGA-Depth是一种新颖的自我学习多摄像机深度估计引导-注意力结构，可在自动驾驶中取得更好的效果，实现高效和准确的深度估计。
如何解决360°图像中的球面视差问题？
提出一种新的神经网络架构，通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。
实时SGM系统在什么硬件上运行？性能如何？
实时SGM系统可嵌入低功耗GPU设备，使用Semi-Global Matching算法，在640x480的图像大小、128个视差级别和4个路径方向下，以每秒42帧的速度生成可靠的视差估计结果。
GTA-V合成深度数据集是什么？使用它训练有什么效果？
GTA-V合成深度数据集（HRSD）包含100,000张彩色图像和相应的密集地面真实深度图。使用此数据集训练的DPT算法在不同场景下的深度估计精度提高了9%，进一步利用特征提取模块和注意力损失，可以将准确度提高15%。
