本研究提出了一种新方法HIST,通过引入句法损失来增强视觉语言模型(VLM)的训练,解决图像与文本配对的粗糙对齐问题。HIST显著提升了VLM在视觉基础和图像-文本检索等任务中的性能,强调了结构化学习的重要性。
该研究提出了逆思维链(R-CoT)生成管道,解决了大型多模态模型在几何推理中缺乏高质量图像文本配对数据的问题,显著提升了模型在MathVista和GeoQA数据集上的表现。
完成下面两步后,将自动完成登录并继续当前操作。