夜雾:基于自学先验的夜间图像去雾
💡
原文中文,约1500字,阅读约需4分钟。
📝
内容提要
本文介绍了多种夜间图像去雾和低光增强的方法,包括基于变压器的NightHazeFormer框架、低光图像增强范式及新型合成方法3R。这些研究通过自监督学习和数据扩增技术,显著提升了夜间图像处理效果。
🎯
关键要点
- 提出了一种基于变压器的夜间图像去雾框架 NightHazeFormer,结合半监督微调策略和先验查询,表现优于现有方法。
- 研究了一种低光图像增强范式,利用可学习先验提高透明度和解释性,实验证明优于现有方法。
- 提出新型合成方法3R,从白天清晰图像重构夜间模糊图像,模拟光线和目标反射,解决缺乏大规模基准数据集的问题。
- 提出基于同源识别的 Mix Autoencoder 方法,通过自监督预训练提升下游视觉任务表现。
- 基于 MAE 的扩展方法引入感知相似度项和多级训练,提升图片分类等任务性能。
- 提出新的夜间雾天成像模型和算法,包括亮度增强、色彩平衡和去雾,实验结果显示良好的颜色再现能力。
- 研究光晕抑制和低光增强方法,通过学习光晕图像对检测光源,提高低光区域能见度,PSNR 值提高14%。
- 提出无监督方法,通过层分解网络和光效抑制网络增强暗区域照度。
- Contrastive Masked Autoencoders (CMAE) 结合对比学习和掩蔽图像模型,学习更强的视觉表示,取得最佳性能。
- 使用 Separable Hybrid Attention 模块建模全球雾的密集度分布,提升去雾网络性能。
❓
延伸问答
NightHazeFormer框架的主要特点是什么?
NightHazeFormer框架结合了半监督微调策略和先验查询,表现优于现有的夜间去雾方法。
如何提高低光图像的透明度和解释性?
通过自定义的可学习先验和Masked Autoencoder(MAE)的特征表示能力来提高低光图像的透明度和解释性。
3R合成方法的作用是什么?
3R合成方法可以从白天清晰图像重构夜间模糊图像,模拟光线和目标反射,解决缺乏大规模基准数据集的问题。
如何通过自监督学习提升视觉任务表现?
通过基于同源识别的Mix Autoencoder方法进行自监督预训练,可以提升下游视觉任务的表现。
夜间雾天成像模型的主要步骤有哪些?
夜间雾天成像模型包括整体亮度增强、色彩平衡和去除雾效应三个步骤。
光晕抑制和低光增强方法的效果如何?
该方法在真实夜间雾霾图像上评估后,PSNR值提高了14%,有效提高了低光区域的能见度。
➡️