一种基于 LLMs 的思维链提示方法用于评估学生科学形成性评价回答
原文中文,约300字,阅读约需1分钟。发表于: 。本研究探讨了使用大型语言模型(LLMs)对 K-12 科学问答进行评分和解释的方法。通过结合少样本学习、主动学习和推理链条,采用 GPT-4 自动评分中学地球科学问答,我们成功地对作业答案进行评分并提供了有意义的解释,进一步系统分析了该方法的优缺点,揭示了人与机联合评分技术提升开放式科学评估的潜力。
本文研究了大型语言模型(LLMs)的能力,特别关注于推进链式思维提示的理论理解。通过引入一个适用于自然语言生成的两级分层图模型,研究者们建立了一个具有吸引力的几何收敛率,用于衡量LLMs生成的思维链条与真实语言起源的思维链条之间的相似度。这些发现为LLMs能够产生正确的思维序列提供了理论上的证明,并解释了在需要推理技能的任务中性能提升的原因。