基于图表的推理:从 LLMs 向 VLMs 的能力转移
原文中文,约300字,阅读约需1分钟。发表于: 。在 VLMs 中,我们提出了一种从 LLMs 转移能力的技术,通过改善图表表示和构建比原始训练集大 20 倍的数据集,合成图表的推理痕迹,最后使用多任务损失对模型进行微调,取得了令人满意的性能。
研究者构建了一个多模态评估集ChartX,包括18种图表类型、7种图表任务、22个学科领域和高质量的图表数据。他们开发了一个新的视角ChartVLM来处理多模态任务,并在ChartX评估集上进行了实验证明ChartVLM在图表相关能力上超越了通用的大模型,达到了与GPT-4V可比较的结果。研究者相信这项研究可以为创建更全面的图表评估集和开发更可解释的多模态模型方面的进一步探索铺平道路。