该论文介绍了ColorSwap数据集，用于评估和提升多模态模型在物体与颜色匹配方面的能力。数据集包含2,000个图像-标题配对，通过自动化生成和人类参与创建。研究发现最新的模型在这个任务上仍不够强大。通过微调和改进提示技术，可以在这个任务上获得显著的性能提升。