UMono: 物理模型引导的混合 CNN-Transformer 框架用于水下单目深度估计
内容提要
WaterMono 是一个专注于水下场景深度估计和图像增强的新型框架。通过教师引导的异常掩模和深度信息结合水下成像模型，提升了模型的鲁棒性。研究表明，Transformers 和 CNNs 在深度估计中表现出不同的偏差，MonoFormer 模型在性能上优于其他模型。此外，OmniFusion 流程和 RT-MonoDepth 网络在实时深度估计中也取得了显著成果。
延伸解读
水下深度估计的物理模型引导方法
WaterMono 框架通过教师引导的异常掩模和深度信息结合水下成像模型，生成增强图像，并采用旋转蒸馏策略提升鲁棒性。这种物理模型引导的方法有助于解决水下场景中常见的图像退化问题，为深度估计和图像增强任务提供了新的思路。
CNN 与 Transformer 在深度估计中的偏差差异
研究表明，Transformer 模型在单目深度估计中表现出强烈的形状偏差，而 CNN 模型则表现出强烈的纹理偏差。纹理偏差的模型在深度估计任务中表现更差，这提示在设计混合架构时需平衡两者特性，以提升泛化性能。
实时深度估计的轻量级网络进展
RT-MonoDepth 和 RT-MonoDepth-S 是专为嵌入式系统设计的轻量级网络，在 NVIDIA Jetson Nano 上分别达到 18.4 和 30.5 FPS，在 AGX Orin 上达到 253.0 和 364.1 FPS，同时在 KITTI 数据集上保持相对最先进的准确性，展示了实时深度估计的可行性。
360 度单目深度估计的融合策略
OmniFusion 流程通过将 360 图像转换为切线图像，利用 CNN 进行分段预测，并采用几何感知特征融合和自注意力变换架构处理球形畸变和分段不一致问题，在多个 360 单目深度估计基准数据集上取得了最先进的性能。
Q&A
WaterMono 框架的主要功能是什么？
WaterMono 框架专注于水下场景的深度估计和图像增强。
MonoFormer 模型相比其他模型有什么优势？
MonoFormer 模型在性能上优于其他模型，具有最佳的广义性能和分类性能。
OmniFusion 流程是如何提高深度估计性能的？
OmniFusion 流程通过几何感知特征融合机制和自注意力变换架构，在多个 360 单目深度估计基准数据集上取得了最先进的性能。
RT-MonoDepth 网络的特点是什么？
RT-MonoDepth 网络在实时深度估计中表现出色，具有较快的推断速度和相对最先进的准确性。
Transformers 和 CNNs 在深度估计中表现出什么样的偏差？
Transformers 具有形状偏差，而 CNNs 具有纹理偏差。
如何通过教师引导的异常掩模提升模型鲁棒性？
通过结合深度信息和水下成像模型，教师引导的异常掩模可以有效提升模型的鲁棒性。
