文本提示引导的图像恢复

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于文本提示的图像修复模型,通过BERT理解用户指令并生成文本提示,使用深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距。实验证明该模型在公共数据集上获得了显著优越的性能,能够准确识别和去除图像的退化。

🎯

关键要点

  • 本研究提出了一种基于文本提示的图像修复模型。
  • 模型通过任务特定的BERT理解用户指令并生成文本提示。
  • 设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距。
  • 创新性地将语义提示引入低层视觉域。
  • 实验证明该模型在公共去噪、去雾和去雨数据集上表现优越。
  • 模型能够准确识别和去除图像的退化,且无需增加模型复杂性。
➡️

继续阅读