夜雾:基于自学先验的夜间图像去雾
内容提要
本文介绍了多种夜间图像去雾和低光增强的方法,包括基于变压器的NightHazeFormer框架、低光图像增强范式及新型合成方法3R。这些研究通过自监督学习和数据扩增技术,显著提升了夜间图像处理效果。
关键要点
-
提出了一种基于变压器的夜间图像去雾框架 NightHazeFormer,结合半监督微调策略和先验查询,表现优于现有方法。
-
研究了一种低光图像增强范式,利用可学习先验提高透明度和解释性,实验证明优于现有方法。
-
提出新型合成方法3R,从白天清晰图像重构夜间模糊图像,模拟光线和目标反射,解决缺乏大规模基准数据集的问题。
-
提出基于同源识别的 Mix Autoencoder 方法,通过自监督预训练提升下游视觉任务表现。
-
基于 MAE 的扩展方法引入感知相似度项和多级训练,提升图片分类等任务性能。
-
提出新的夜间雾天成像模型和算法,包括亮度增强、色彩平衡和去雾,实验结果显示良好的颜色再现能力。
-
研究光晕抑制和低光增强方法,通过学习光晕图像对检测光源,提高低光区域能见度,PSNR 值提高14%。
-
提出无监督方法,通过层分解网络和光效抑制网络增强暗区域照度。
-
Contrastive Masked Autoencoders (CMAE) 结合对比学习和掩蔽图像模型,学习更强的视觉表示,取得最佳性能。
-
使用 Separable Hybrid Attention 模块建模全球雾的密集度分布,提升去雾网络性能。
延伸问答
NightHazeFormer框架的主要特点是什么?
NightHazeFormer框架结合了半监督微调策略和先验查询,表现优于现有的夜间去雾方法。
如何提高低光图像的透明度和解释性?
通过自定义的可学习先验和Masked Autoencoder(MAE)的特征表示能力来提高低光图像的透明度和解释性。
3R合成方法的作用是什么?
3R合成方法可以从白天清晰图像重构夜间模糊图像,模拟光线和目标反射,解决缺乏大规模基准数据集的问题。
如何通过自监督学习提升视觉任务表现?
通过基于同源识别的Mix Autoencoder方法进行自监督预训练,可以提升下游视觉任务的表现。
夜间雾天成像模型的主要步骤有哪些?
夜间雾天成像模型包括整体亮度增强、色彩平衡和去除雾效应三个步骤。
光晕抑制和低光增强方法的效果如何?
该方法在真实夜间雾霾图像上评估后,PSNR值提高了14%,有效提高了低光区域的能见度。