基于检索增强生成的生成式语言模型用于自动简答评分
内容提要
本文介绍了AutoSAS，一个快速、可扩展的自动短答案评分系统，利用词汇多样性和内容重叠等特征，其评分结果与人类评分相当。研究表明，预训练的大型语言模型（如GPT-4）在自动评分中具有潜力，但仍需人工监督以确保准确性。近年来，自动短答案评分在K-12教育中取得了显著进展。
延伸解读
AutoSAS 的定位与评估基础
AutoSAS 被描述为一个快速、可扩展且准确的自动短回答评分系统，其核心依赖词汇多样性、Word2Vec、提示和内容重叠等特征。在 ASAP-SAS 公共数据集上的评估显示，其表现与人类评分相当。这表明，在特定数据集和特征工程支持下，自动评分系统已能达到接近人工的评分水平，为后续研究提供了可比较的基线。
大型语言模型在自动评分中的角色
文章提到，预训练的大型语言模型如 GPT-4 在自动评分中显示出潜力，但研究也指出，通用模型在标准基准上的表现与手工设计模型相当，却不及专门训练的 LLM。此外，开箱即用的 LLM 虽能提供补充视角，但尚不能独立完成自动评分，仍需人工监督。这提示读者，LLM 可作为辅助工具，但完全替代人工评分尚不成熟。
自动短答案评分的应用价值
自动短答案评分在 K-12 教育中已取得显著进展，尤其在自由文本问题的自动评分方面。其核心价值在于，即使人工评分师有限，也能帮助教育者对大班课中的自由回答进行评分和反馈。随着模型性能不断提升，该技术有望缓解大规模教育场景下的评分压力，但实际部署时仍需考虑准确性与监督需求。
Q&A
AutoSAS系统的主要功能是什么？
AutoSAS系统使用词汇多样性、Word2Vec、提示和内容重叠等功能来实现自动短答案评分。
AutoSAS在评分准确性上与人类评分相比如何？
AutoSAS的评分结果与人类评分相当，显示出良好的准确性。
近年来自动短答案评分在教育领域的进展如何？
近年来，自动短答案评分在K-12教育中取得了显著进展，尤其是在自由文本问题的自动评分方面。
大型语言模型在自动评分中有哪些潜力？
预训练的大型语言模型（如GPT-4）在自动评分中显示出潜力，但仍需人工监督以确保准确性。
AutoSAS系统是如何评估其性能的？
AutoSAS通过使用Automated Student Assessment Prize短回答评分（ASAP-SAS）公共数据集进行评估。
自动短答案评分的研究领域有哪些最新进展？
自动短答案评分的研究领域近年来取得了显著进展，尤其是在深度学习方法和模型性能提升方面。
