I2EBench：基于指令的图像编辑综合基准
内容提要
本文介绍了一种基于文本指导的图像编辑方法，结合预训练模型生成训练数据，以提升图像编辑效果。研究提出了多个系统，如Imagen Editor和InstructAny2Pix，利用人类反馈和多模态技术改善编辑质量。新方法InstructBrush通过示例图像提取编辑效果，克服了传统方法的局限性。此外，UltraEdit数据集的创建支持大规模高质量图像编辑，E-Bench基准则提升了视频编辑的质量评估。
延伸解读
图像编辑评估基准的演进
文章梳理了多个图像编辑基准的提出：EditBench（2022年12月）用于评估Imagen Editor的编辑效果；EditVal（2023年10月）对8种扩散编辑方法进行基准测试，发现Instruct-Pix2Pix和Null-Text表现最佳，但大多数方法在空间操作上失败；TOP-Bench（2024年3月）针对指令反演方法；E-Bench（2024年8月）则专注于视频编辑评估。这些基准从不同角度推动了编辑质量的量化评估。
从文本指令到多模态指令的扩展
早期方法如Imagen Editor仅支持文本指令，而InstructAny2Pix（2023年12月）将指令来源扩展到音频和图像，实现了多模态指令跟踪。SmartEdit（2023年12月）则利用多模态大语言模型增强复杂指令的理解和推理。InstructBrush（2024年3月）另辟蹊径，通过示例图像对提取编辑效果作为指令，克服了语言难以准确描述的编辑任务。这些进展表明指令形式正变得多样化。
大规模数据集对编辑模型的推动
UltraEdit（2024年7月）是一个约400万编辑样本的大规模自动生成数据集，旨在解决InstructPix2Pix和MagicBrush等数据集的不足。它利用大语言模型生成编辑指令，并支持基于区域的编辑。实验表明，基于UltraEdit训练的扩散编辑基线在MagicBrush和Emu-Edit基准上取得了新记录，证实了真实图像锚点和区域编辑数据的关键作用。
Q&A
I2EBench是什么？
I2EBench是一个基于文本指导的图像编辑综合基准，旨在评估文本引导的图像编辑方法的效果。
InstructBrush的主要功能是什么？
InstructBrush通过示例图像提取编辑效果，解决了传统图像编辑方法的局限性。
UltraEdit数据集的特点是什么？
UltraEdit是一个大规模自动生成的图像编辑数据集，包含约400万编辑样本，提供高质量的编辑示例。
如何评估文本引导的图像编辑效果？
通过引入EditVal基准测试，可以定量评估文本引导的图像编辑方法，比较不同编辑方法的性能。
SmartEdit是如何增强图像编辑的？
SmartEdit利用多模态大型语言模型增强理解和推理能力，实现复杂指令下的图像编辑。
E-Bench基准的作用是什么？
E-Bench基准解决了文本驱动视频编辑的评估问题，提供了一种新的主观对齐定量测量方法。
