中科院等万字详解：最前沿图像扩散模型综述
内容提要
中国科学院与Adobe和苹果公司的研究人员合作发布了一篇关于图像修复模型的综述。该综述详细介绍了图像修复的前沿方法和新的评估基准。作者将图像修复论文分为三个主要类别，并讨论了输入条件和修复类型。此外，作者还提出了一个包含50张高质量图像的评估基准，用于评估模型在七种常见修复任务上的性能。文章还讨论了模型推理过程的削减、模型效率的提高以及修复复杂目标结构、光照和阴影的挑战。最后，作者提出了对图像修复模型泛化性和可靠评估目标的改进思路。
延伸解读
图像修复方法的三类划分
综述将图像修复方法按学习策略分为基于训练、测试时微调和免训练三类。基于训练的方法依赖稳定的扩散模型训练，在多种任务中表现可靠；测试时微调通过调整部分参数或嵌入提升精确性和可控性；免训练方法则无需训练或微调，快速且成本低。这种分类有助于读者根据任务需求选择合适的方法。
EditEval基准与LMM评分
针对现有基准的不足，作者提出了EditEval，包含50张高质量图像和文本提示，覆盖物体增加/移除/替换及背景、风格、姿态、动作改变等七种任务。同时提出LMM分数，利用多模态大模型评估修复性能，并与用户研究进行相关性验证。该基准为模型评估提供了更全面的工具。
当前挑战与未来方向
综述指出，扩散模型在图像修复中仍面临推理步骤多、效率低、复杂结构（如手指、文字）修复痕迹明显、光照阴影难以精确估计等问题。此外，模型泛化性不足，在真实场景中可能失败。未来需改进少步生成、高效架构、结构引导和定量评价指标，以提升实用性和可靠性。
Q&A
图像修复模型的主要分类有哪些？
图像修复论文分为三大类：基于训练的方法、测试时微调的方法和免训练的方法。
EditEval基准的作用是什么？
EditEval基准包含50张高质量图像，用于评估模型在七种常见修复任务上的性能。
图像修复中面临的主要挑战有哪些？
主要挑战包括修复复杂目标结构、光照和阴影的处理。
如何提高图像修复模型的效率？
可以通过减少推理过程和设计更高效的网络架构来提高模型效率。
图像修复模型的泛化性问题如何解决？
可以通过扩大训练数据、调整模型以承受更多条件和采用迭代细化的方法来改善泛化性。
图像修复模型的评价标准有哪些？
现有的评价标准包括FID、KID、LPIPS、CLIP得分、PSNR和SSIM等。
