Img-Diff：针对多模态大型语言模型的对比数据合成

BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

该研究通过引入名为Img-Diff的新数据集，利用对比学习和图像差异字幕的见解，提高了细粒度图像识别的性能。研究分析了相似图像之间的物体差异，并使用图像编辑技术创建了突出物体替换的相似图像对。通过差异区域生成器和差异字幕生成器，生成了一小而高质量的数据集。使用该数据集对现有的模型进行微调，取得了在多项图像差异和视觉问答任务中超越SOTA模型的全面性能改进。此外，研究还探索了实现图像差异数据的替代方法，并进行了全面评估以确保数据集的多样性、质量和鲁棒性。