降低成本：跨提示预微调以实现简短答案评分
内容提要
本文介绍了一种自动短答案评分框架，旨在提高K-12教育中自由文本问题的评分效率和准确性。该系统结合深度学习模型与人类评分者，能够实时记录并评分学生答案，显著降低成本并提升教育质量。研究表明，使用大型语言模型（如GPT-4）进行评分接近人类水平，具有重要的应用价值。
延伸解读
自动评分如何平衡质量与成本
文章指出，自动短答案评分系统通过结合深度学习模型与人类评分者，在保证评分质量的同时降低成本。具体而言，系统会评估自动评分的可靠度，将低可靠度的结果交由人类评分者处理，从而实现协同作业。这种方法既利用了自动化的效率，又保留了人类判断的准确性，为K-12教育中的大规模评分提供了可行方案。
大型语言模型在评分中的表现与局限
研究表明，GPT-4在评分真实学生答案时表现接近人类水平，而GPT-3.5也显著优于BERT等传统模型。然而，这些结论多基于特定数据集和任务，实际应用中可能受提示设计、领域适应性和评分标准的影响。此外，大型语言模型的成本较高，在资源有限的环境中需权衡使用。
零样本与提示调整：降低训练成本的新途径
文章提到，MeNSP方法利用预训练语言模型实现零样本自动评分，无需人工标注样本，显著降低了训练成本。同时，在代码智能任务中，提示调整相比微调在低资源情况下表现更优。这些技术为教育评估中数据稀缺的场景提供了新思路，但需进一步验证其在不同学科和任务中的泛化能力。
考虑评分者偏好的必要性
研究显示，不同评分者存在个体偏好，在自动评分模型中纳入这些偏好可以提高准确性。这意味着，单纯追求与参考答案的语义匹配可能不够，还需考虑人类评分的主观因素。对于K-12形成性评估，这种人性化设计有助于使自动评分更贴近实际教学需求，但同时也增加了模型复杂性和数据要求。
Q&A
自动短答案评分框架的主要目标是什么？
主要目标是提高K-12教育中自由文本问题的评分效率和准确性。
AutoSAS系统是如何评估学生答案的？
AutoSAS系统使用词汇多样性、Word2Vec等功能，评估结果与人类评分相当。
结合深度学习模型与人类评分者的好处是什么？
这种结合方法能够保证评分质量并降低成本。
MeNSP方法在自动评分中有什么创新之处？
MeNSP方法实现了零样本自动评分，显著降低训练成本，适用于科学教育中的评估任务。
GPT-4在评分学生答案时的表现如何？
GPT-4在评分真实学生答案时表现接近人类水平，具有重要意义。
考虑评分者偏好的模型对自动评分有什么影响？
考虑评分者偏好的模型能够提高自动评分的准确性。
