细调的多模态语言模型是高质量的图像文本数据过滤器
内容提要
本文探讨了多模态语言模型（MLLMs）在图像分类和视觉任务中的应用，提出了FILTER和SIEVE等改进方法，显著提升了模型性能。研究表明，通过优化数据质量和使用自生成标签，MLLMs在图像文本检索等任务中取得了显著进展，鼓励进一步探索其多方面应用。
延伸解读
数据过滤：从冗余信息到文本重写
文章指出，多模态数据集中包含数字等冗余信息会显著影响CLIP得分，因此提出基于文本的过滤方法。实验证明，该方法在选择数据时优于原始CLIP得分过滤器，并提供了改善CLIP训练有效性的洞见，包括语言重写技术。这提示我们，数据清洗时需关注文本质量，而非仅依赖视觉-语言对齐分数。
轻微微调：平衡分类性能与生成能力
通过对多模态语言模型进行轻微微调，并使用对比式图像-标题匹配目标，图像分类性能比最先进的MLLMs提高了13%，同时保留了语言模型的生成能力。这表明，适度的微调可以在不牺牲生成能力的前提下，显著提升判别式任务的性能，为多任务统一模型提供了思路。
自过滤与SIEVE：以少胜多的数据选择策略
自过滤方法通过评分网络选择最具挑战性的样本，仅用约15%的数据即达到比全数据更好的结果。SIEVE则利用合成标题评估图像-文本对一致性，在大规模数据集上取得最先进性能。两者都表明，智能的数据选择比盲目扩大数据量更有效，尤其适用于资源有限场景。
MLLMs增强视觉语言表示：显著提升检索性能
利用MLLMs为每张图像扩展多个标题，并通过“文本切割”防止偏见和风格引入，在图像文本检索中，微调和零样本设置下R@1分别提升5.6~35.0%和16.8~46.1%，零样本结果可与目标数据集微调相媲美。这展示了MLLMs在提升数据质量和表示学习方面的潜力，鼓励探索其多方面应用。
Q&A
多模态语言模型在图像分类中有什么应用？
多模态语言模型通过轻微微调和对比式图像-标题匹配目标，显著提高了图像分类性能，保留了语言模型的生成能力。
FILTER方法是如何提高多语言任务性能的？
FILTER方法利用跨语言数据增强和自生成的软伪标签，显著提高了XTREME和XGLUE多语言多任务基准的性能。
SIEVE方法的主要功能是什么？
SIEVE方法使用合成标题评估图像-文本对的一致性，在多个数据集上取得了最先进的性能。
自过滤方法如何选择样本？
自过滤方法通过训练后的评分网络衡量指令的难度，选择最具挑战性的样本，仅使用约15%的样本即可达到更好的结果。
如何提高多模态语言模型的视觉语言表示学习？
通过提高数据质量和扩展每个图像的多个标题，MLLMs在视觉语言表示学习中得到了增强。
InfMLLM方法在多项任务中表现如何？
InfMLLM方法在图像描述、视觉问题回答和视觉定位等任务中表现优越，达到了与最新多模态大语言模型相当或超越的性能。
