带有门控卷积和上下文重建损失的全景图像修复
内容提要
本文综述了图像修复领域的多种深度学习方法，包括生成模型、卷积神经网络、生成对抗网络和门控卷积。这些方法利用周围图像特征、上下文关注机制和多列网络结构，提高了修复图像的质量与纹理逼真度，在街景、人脸等场景中效果优于现有技术。
延伸解读
门控卷积如何提升修复灵活性
文章重点介绍了基于门控卷积的生成式图像修复系统。与传统卷积将所有输入像素视为有效不同，门控卷积提供可学习的动态特征选择机制，能针对每个通道和空间位置自适应调整。这使得模型能处理自由形状掩码，并支持用户引导的图像扩展，从而在质量和灵活性上超越以往方法。
上下文重建损失的设计思路
文章提到通过同时训练辅助的上下文重建任务和修复生成器，提出了一种生成器无关的设计。该设计在推理时只需差补生成器，降低了计算负担。实验表明，这种方法在定量和视觉性能上均优于现有技术，尤其适用于存在困难的视觉填充问题。
从多列网络到双流网络的演进
文章梳理了图像修复网络的演进：从基于生成的多列网络，利用置信度驱动重建误差和多重随机场正则化增强全局与局部细节；到双流网络模拟结构约束纹理合成和纹理引导结构重构，并通过双向门控特征融合和上下文特征聚合模块提升全局一致性和多尺度特征聚合。
Q&A
门控卷积在图像修复中解决了什么问题？
门控卷积解决了通用卷积将所有输入像素视为有效像素的问题，并提供了一种可学习的动态特征选择机制，以适应每个通道和空间位置上的输入。
SN-PatchGAN损失有什么特点？
SN-PatchGAN是一种基于图像块的GAN损失，可以应用于自由形状掩码和根据用户指导进行图像扩展，使修复方法更加高质量和灵活。
上下文重建损失在图像修复中是如何应用的？
通过同时训练辅助的上下文重建任务和修复生成器，提出了一种生成器无关的设计来解决困难的视觉填充问题，该设计在推理期间只需要差补生成器。
有哪些基于生成模型的图像修复方法？
包括基于生成模型和卷积神经网络的方法、基于生成的多列网络方法、基于生成模型的新型语义图像修复方法等。
图像修复在哪些场景下取得了令人信服的效果？
在挑战性的街景、人脸和自然场景下产生了令人信服的视觉效果。
GLaMa方法在图像修复中有什么创新？
GLaMa基于LaMa图像修复框架，通过引入更多的退化图像和基于频率的损失函数，提高了模型对各种遮罩的鲁棒性，并在NTIRE 2022图像修复挑战中获得第一名。
