本研究提出YESciEval框架,以解决大型语言模型在科学问答评估中的鲁棒性不足问题。通过细化评分标准和强化学习,减少评估者的乐观偏差,促进更可靠的评估模型发展。
本研究提出了新的科学问答基准(SciTaT),解决了现有数据集中推理类型有限和表格与文本关系被忽视的问题。通过设计结合表格与文本的提问方式,验证了基线模型(CaR)的有效性,实现了12.9%的性能提升。
本研究提出了M3SciQA基准,旨在全面评估基础模型在多模态多文档科学问答中的表现。结果表明,基础模型在多模态信息检索和跨文档推理方面仍不及人类专家,未来应用面临挑战。
完成下面两步后,将自动完成登录并继续当前操作。