FG-CLIP模型通过长文本理解和细粒度视觉比对，解决了传统CLIP的“视觉近视”问题，能够精准识别局部细节。实验结果表明，其在多个任务上优于现有模型。360人工智能研究院将开源相关数据和代码，推动细粒度视觉理解的发展。

本文提出了一种增强模型对细粒度视觉和布局特征的捕捉能力的新方法，通过引入颜色先验知识，并在基准数据集上实验证明其优于强大的 LayoutLM 系列基线。研究不同的颜色方案对该方法的影响，为优化模型性能提供了启示。