Uni-paint: 一个统一框架的多模态图像修复方法,基于预训练扩散模型
原文约400字/词,阅读约需1分钟。发表于: 。提出了一种名为 Uni-paint 的多模态修复统一框架,基于 Stable Diffusion 预训练模型,支持无条件、文本驱动、笔画驱动、示例驱动等多种修复模态,无需特定数据集的任务特定训练,通过广泛的定性和定量评估表明,该方法在保持与现有单模态方法具有可比性的基础上,提供了其他方法中不可用的多模态修复能力。
本文提出了一种基于条件扩散模型的图像到图像转换框架,并在四个具有挑战性的任务中测试了该框架。实验结果表明,该框架的表现超越了强基线,无需任务特定的超参数调整、架构定制或辅助丢失或新技术。作者提倡一个基于ImageNet的统一评估协议,以推进图像到图像翻译研究。最后,作者展示了一个通用的,多任务扩散模型的执行效果与任务特定的专家模型相当或更好。