本研究提出YESciEval框架,以解决大型语言模型在科学问答评估中的鲁棒性不足问题。通过细化评分标准和强化学习,减少评估者的乐观偏差,促进更可靠的评估模型发展。
本研究提出了新的科学问答基准(SciTaT),解决了现有数据集中推理类型有限和表格与文本关系被忽视的问题。通过设计结合表格与文本的提问方式,验证了基线模型(CaR)的有效性,实现了12.9%的性能提升。
本研究提出M3SciQA基准,旨在评估基础模型在多模态和多文档科学问答中的表现。研究发现,当前基础模型在多模态信息检索和跨文档推理方面明显不及人类专家,指出了未来应用的挑战。
本文提出了一种知识蒸馏方法,通过大型语言模型生成合理解释,提升小型自洽模型的推理能力。研究表明,采用级联分解和多模态框架等技术,能有效提高模型在科学问答和常识推理任务中的表现,超越传统方法。
本文介绍了一种新型对话型问答系统,结合细粒度检索和自我验证技术,显著提升了问题理解和信息获取能力。研究表明,该系统在科学问答基准测试中超越现有模型,并发布了相关中文数据集以促进研究。此外,探讨了PDF解析对问答系统有效性的影响,提出了新的评估基准和算法,以提高长答案问答的性能。
完成下面两步后,将自动完成登录并继续当前操作。