移动摄影中的联合 RGB - 光谱分解模型引导图像增强
内容提要
本文介绍了多种基于深度学习的图像处理方法，包括低光增强、去噪、超分辨率和高光谱图像重建。这些技术通过不同模型和算法提升了图像质量和分辨率，尤其在低光和复杂场景下表现优异。
延伸解读
技术路线概览：从分解到融合
文章汇总了多种深度学习方法，核心思路可归纳为两类：一是基于分解的增强，如Retinex模型联合低光增强与去噪、低秩多光谱固有分解（LRIID）分离阴影与反射率；二是跨模态融合，如结合高分辨率多光谱与低分辨率高光谱图像生成高分辨率高光谱图像。这些方法共同指向移动摄影中RGB与光谱信息的联合利用，以提升低光、复杂场景下的成像质量。
低光增强与去噪的协同策略
针对低光图像，文章提到通过Retinex模型进行顺序分解处理，对每个组件施加空间平滑性，并利用权重矩阵抑制噪声、提高对比度。这种联合策略避免了先增强后去噪可能引入的伪影，在低光条件下能同时改善亮度和信噪比。此外，SpecNet通过光谱剖面估计像素动态范围调整，从RGB图像推断高光谱信息，为低光高光谱生成提供了自监督方案。
高光谱重建与融合的进展
文章介绍了多种高光谱图像重建与融合方法：基于条件去噪扩散概率模型的深度融合、基于模型的深度学习合并多光谱与高光谱图像、无监督编码器-解码器超分辨率、以及循环一致性无监督融合模型。这些方法旨在从低分辨率或RGB输入中恢复高空间和高光谱分辨率的图像。其中，四级分级回归网络在NTIRE 2020 Challenge实际图像赛道获胜，表明该类方法在真实场景中具有竞争力。
实际应用与性能验证
部分方法已在真实数据上验证：联合去马赛克和超分辨率算法在NASA火星好奇号图像上取得显著改进；物理启发的退化模型（PIDM）通过模拟镜头畸变和分辨率降低，提高了现有融合方法在实际场景中的性能。这些案例说明，结合物理退化模型和端到端优化，能增强算法对复杂成像条件的适应性，为移动摄影中的图像增强提供实用参考。
Q&A
SpecNet深度架构的主要功能是什么？
SpecNet深度架构用于在低光条件下生成高光谱图像，通过自我监督和光谱剖面规则化网络从RGB图像推断高光谱图像。
如何实现低光图像的增强和去噪？
通过联合低光增强和去噪策略，利用Retinex模型进行顺序处理，施加空间平滑性来抑制噪声和提高对比度。
物理启发的退化模型（PIDM）有什么作用？
PIDM通过模拟镜头畸变和图像分辨率降低的过程，提高了现有融合方法在实际场景中的性能。
联合去马赛克和超分辨率算法的应用效果如何？
该算法在NASA火星好奇号图像上取得了显著改进，证明了其实用性和合理性。
低秩多光谱图像固有分解模型（LRIID）是如何工作的？
LRIID从单个多光谱图像中分解阴影和反射率，利用低秩约束减少不适定性并使算法可解。
无监督编码器-解码器体系结构在高光谱图像超分辨率中的表现如何？
该体系结构通过稀疏狄利克雷分布解决高光谱图像超分辨率问题，实验中表现优越。
