SciEval: 一个用于科学研究的多级大型语言模型评估基准

研究引入了SciBench基准套件，测试语言模型在解决科学问题时的推理能力。当前的语言模型表现不佳，综合得分仅为35.80%。用户研究发现了十种问题解决能力的错误分类。没有一种单一的提示策略明显优于其他策略，并且某些策略在提高某些技能的同时会导致其他技能下降。预计SciBench将推动语言模型的推理能力进一步发展，促进科学研究和发现。