基于无监督学习的多尺度曝光融合
内容提要
本文介绍了一种新的深度学习架构,用于多曝光图像融合,采用无监督学习和无参考质量度量进行训练。研究提出了基于Transformer的框架和Laplacian Pyramid分解网络,均在图像融合任务中表现优异。最新方法通过编码融合权重和注意力机制,显著提升了融合质量,实验结果显示其在质量和效率上优于现有技术。
关键要点
-
提出了一种新的深度学习架构,用于融合静态多曝光图像,采用无监督学习和无参考质量度量进行训练。
-
基于Transformer的多曝光图像融合框架TransMEF,通过自监督多任务学习,结合CNN和Transformer模块,解决了长距离依赖问题。
-
基于Laplacian Pyramid分解的Fusion-Correction网络同时处理单曝光校正和多曝光融合任务,表现良好。
-
HSDS-MEF方法通过双重优化搜索方案自动设计网络结构和损失函数,提升了视觉信息保真度。
-
新方法通过编码融合权重到一维查找表,利用注意力机制提升融合质量,实验结果显示在质量和效率上优于现有方法。
-
提出的多尺度双注意框架用于红外和可见光图像融合,整合互补信息并进行结构和特征级别的融合。
-
新颖的多曝光图像融合方法通过空频积分框架实现了与最先进方法相媲美的视觉效果。
-
小区域感知多焦点图像融合算法通过像素属性增强和视觉显著性检测,改善了物体检测性能。
延伸问答
什么是基于Transformer的多曝光图像融合框架TransMEF?
TransMEF是一个基于Transformer的框架,通过自监督多任务学习结合CNN和Transformer模块,旨在解决长距离依赖问题,提升多曝光图像的特征提取能力。
新提出的多曝光图像融合方法有哪些优势?
新方法通过编码融合权重和利用注意力机制,显著提升了融合质量,并在质量和效率上优于现有技术。
Fusion-Correction网络的主要功能是什么?
Fusion-Correction网络通过多层级别的顺序处理,能够同时解决单曝光校正和多曝光融合任务,表现良好。
HSDS-MEF方法是如何提升视觉信息保真度的?
HSDS-MEF方法通过双重优化搜索方案自动设计网络结构和损失函数,提升了视觉信息保真度,分别在一般和无参考场景中提高了10.61%和4.38%。
小区域感知多焦点图像融合算法的主要特点是什么?
该算法通过像素属性增强和视觉显著性检测,改善物体检测性能,能够准确检测到小且平滑的焦点区域,优于现有方法。
多尺度双注意框架在图像融合中有什么作用?
多尺度双注意框架用于红外和可见光图像融合,整合互补信息并在结构和特征级别进行融合,提升了融合效果。