以草图为引导的局部离散扩散图像修复

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

本研究提出了一种基于草图引导的图像修复方法,使用部分离散扩散过程(PDDP)重建掩蔽区域,通过领域差异提高修复结果质量。通过在MS-COCO合成数据集上进行训练和评估,证明了该方法的有效性。

🎯

关键要点

  • 本研究提出了一种基于草图引导的图像修复方法。

  • 草图引导修复提供了更强的用户控制力,可以指定待修复对象的形状和姿势。

  • 引入了一种新颖的部分离散扩散过程(PDDP)用于图像修复。

  • PDDP 的正向传递处理掩蔽区域,反向传递使用草图引导双向转换器重建这些区域。

  • 新颖转换器模块接受图像和查询草图作为输入,有效解决草图与自然图像之间的领域差异。

  • 使用 MS-COCO 合成数据集进行训练和评估,证明了方法的有效性。

  • 定性和定量结果表明,所提出的方法能够修复与草图视觉外观相符的逼真对象。

  • 研究代码已公开,促进进一步研究。

➡️

继续阅读