BriefGPT - AI 论文速递
·
Chart-HQA: A Benchmark for Hypothetical Question Answering in Charts
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种新的图表假设问答（HQA）任务，解决了现有基准测试中多模态大型语言模型（MLLMs）输出偏差的问题。通过HAI方法低成本生成多样化的HQA数据，结果表明当前模型在HQA任务上面临泛化挑战和推理性能不平衡。
🎯
关键要点
- 本研究提出了一种新的图表假设问答（HQA）任务，旨在解决现有基准测试中多模态大型语言模型（MLLMs）输出偏差的问题。
- HQA任务要求模型基于图表内容进行反事实推理。
- 引入HAI方法以低成本生成多样化、高质量的HQA数据。
- 研究结果表明，当前模型在HQA任务上面临显著的泛化挑战和推理性能不平衡的问题。
➡️
