本文介绍了BrushNet和BrushEdit两个AI模型。BrushNet通过双分支架构实现图像修复,逐步学习填补空白;BrushEdit则将自然语言指令转化为修复所需的掩码和提示,自动化处理过程。两者结合增强了图像编辑能力。
本研究解决了目前基于反演的方法在进行大幅度修改(如添加或移除对象)时的局限性,以及基于指令的方法在用户交互方面的限制。提出的BrushEdit方法结合了多模态大语言模型和图像修复模型,实现了一种自主、用户友好且互动的自由形式指令编辑系统,实验结果显示该框架在多个评测指标上表现优异。
完成下面两步后,将自动完成登录并继续当前操作。