Diffree：使用扩散模型进行文本引导形状自由物体修复
内容提要
本文介绍了一种新型图像修复模型，结合文本指导和实例分割，显著提升了图像修复的质量和一致性。该模型通过多样化的数据集和修复技术，能够无缝添加对象并保持主题特征，展示了在视觉质量和文本控制方面的显著改进。
延伸解读
文本引导修复的技术脉络
文章梳理了多项文本引导图像修复研究，从2022年到2024年，展示了技术演进：早期工作关注文本对齐和风格转换，随后出现无需调参的MagicRemover和形状引导的Shape-Guided Diffusion，近期则强调主题驱动和实例分割增强。这些进展共同推动了修复任务在可控性和质量上的提升。
主题驱动修复的挑战与方案
DreamInpainter针对主题驱动修复中准确复制主题并保持文本控制的难题，采用两步法：先计算密集主题特征确保复制，再通过令牌选择模块去除冗余细节，保留身份的同时允许根据遮罩和文本修改。解耦正则化技术进一步增强了文本控制，在视觉质量、身份保护和文本控制上表现卓越。
数据集与评估的支撑作用
文章提到多个数据集对修复任务的推动：GQA-Inpaint支持同时估计移除对象和修复，MARIO-10M为文本渲染提供大规模OCR标注数据，实例分割数据集的扩充方法增强了多样性。这些数据集和评估指标（定量与定性）为模型比较和进步提供了基础，但文章未详细说明具体指标数值。
Q&A
Diffree模型的主要创新点是什么？
Diffree模型结合了文本指导和实例分割，显著提升了图像修复的质量和一致性。
DreamInpainter方法是如何确保主题复制的？
DreamInpainter通过计算密集的主题特征和有区分性的令牌选择模块来确保准确的主题复制。
MagicRemover的工作原理是什么？
MagicRemover通过注意力引导策略实现高质量图像修复，无需调参，能够在指定区域内进行内容恢复。
TextDiffuser解决了什么问题？
TextDiffuser解决了扩散模型在渲染文本方面的准确性和连贯性问题，并提供了大规模图像文本数据集。
Inst-Inpaint算法的主要功能是什么？
Inst-Inpaint算法能够同时估计要移除的对象并进行修复，支持基于自然语言输入的图像修复。
Shape-Guided Diffusion方法的优势是什么？
Shape-Guided Diffusion方法使用Inside-Outside Attention机制，实现按文本提示替换对象的形状引导编辑任务，取得了形状忠诚度的SOTA结果。
