HazeCLIP：面向文本指导的现实世界图像去雾
内容提要
本文介绍了一种基于学习的图像去雾域适应模型，该模型结合了图像翻译和去雾模块，通过一致性约束进行训练，以提升去雾效果。实验结果表明，该模型在合成和真实图像中均表现优异。此外，文中还探讨了多种基于CLIP的视觉-语言模型改进方法，显著提升了图像分类、短语定位和视线估计等任务的性能。
延伸解读
去雾模型的核心设计
该模型采用域适应思路，包含一个图像翻译模块和两个去雾模块，通过一致性约束联合训练。这种设计旨在缩小合成域与真实域之间的差距，使去雾网络在真实图像上也能保持良好效果。实验表明，该模型在合成和真实世界图像中均表现优异，说明一致性约束有助于提升跨域泛化能力。
CLIP在视觉-语言任务中的扩展
文章列举了多项基于CLIP的改进工作，覆盖领域自适应、短语定位、视线估计、区域表征学习、训练增强和低级视觉任务等。例如，ReCLIP无需源数据或目标标记数据即可实现领域自适应，将CLIP在22个图像分类基准上的平均错误率从30.17%降至25.06%；CLIP-Gaze通过个性化上下文优化提升了视线估计的跨领域泛化能力。这些工作表明CLIP作为视觉-语言基础模型具有广泛的扩展潜力。
评估与影响因素
CLIP-benchmark对CLIP及其变种进行了系统评估，发现数据、监督方式和模型架构是影响性能的三个关键因素，并指出采用更恰当的监督可以有效提升CLIP性能。这一结论为后续改进提供了方向，也提示研究者在应用CLIP时需关注这些因素对最终效果的影响。
Q&A
HazeCLIP模型的主要功能是什么？
HazeCLIP模型主要用于图像去雾，通过结合图像翻译和去雾模块，利用一致性约束进行训练。
ReCLIP方法有什么创新之处？
ReCLIP方法是首个无需源数据或目标标记数据的视觉-语言模型领域自适应方法，使用伪标签进行交叉模态自训练。
CLIP-Gaze框架如何提高视线估计的性能？
CLIP-Gaze框架通过个性化上下文优化和视线相关特征的构建，提高了视线估计的泛化能力。
RegionCLIP的主要优势是什么？
RegionCLIP扩展了CLIP模型，使其能够学习区域级别的视觉表征，从而在目标检测中表现良好。
LaCLIP方法的特点是什么？
LaCLIP通过语言重写增强CLIP的训练，具有高语料丰富度且不需要额外计算或内存负载。
CLIP-benchmark的目的是什么？
CLIP-benchmark用于评估和分析CLIP及其变种，发现数据、监督和模型架构对性能的影响。
