大型语言模型作为 MOOC 课程的评分器
内容提要
该文综述大语言模型在教育评估中的应用：GPT-4结合思维链可提升科学写作自动评分准确性；GPT-3.5/4能分类学生求助、生成学习目标、辅助反馈分析。但零样本分类仍逊于微调模型，提示策略影响显著，独立自动评分尚需人工监督。
延伸解读
提示策略对评分准确性的影响
文章指出，不同的提示策略可以显著影响分类准确性，准确性和F1分数的差异超过10%。这意味着在实际应用中，教育工作者需要谨慎设计提示，以充分发挥大语言模型的潜力。同时，思维链（CoT）与项目描述和评分标准结合使用时，能进一步提高评分准确性。
零样本分类的局限性
在零次设置下，当前大语言模型无法与较小的经过微调的基线变压器模型（如BERT）的性能匹配。这表明，尽管大语言模型在自动评分方面展现出潜力，但在没有额外训练数据的情况下，其分类效果可能不如专门微调的模型。因此，在关键评估任务中，仍需考虑结合微调方法。
独立自动评分的可行性
研究表明，虽然“开箱即用”的大语言模型提供了宝贵的工具来提供补充视角，但它们对于独立自动评分的准备工作仍然是一个尚未完成的工作，需要人工监督。这意味着，在当前阶段，大语言模型更适合作为辅助工具，而非完全替代人工评分。
模型性能差异与任务适应性
GPT-4相对于GPT-3.5在各种评分任务中表现出更高的性能。此外，在医学生反思性文章评分中，ChatGPT表现出色，科恩卡帕分数达到0.53，而Llama-7b表现最差。这表明不同模型在不同任务上的表现存在差异，选择适合的模型对评分效果至关重要。
Q&A
GPT-4 和 GPT-3.5 在自动评分任务中哪个表现更好？
GPT-4 相对于 GPT-3.5 在各种评分任务中表现出更高的性能。
思维链（CoT）如何影响大语言模型的评分准确性？
使用 CoT 能够提高评分准确性，特别是当与项目描述和评分标准一起使用时。
大语言模型能否准确分类学生的求助请求？
GPT-3.5 和 GPT-4 模型可以准确分类学生的求助请求，并提高教育系统的自动化分类能力。
大语言模型在零样本分类任务中与微调模型相比表现如何？
在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。
大语言模型能否用于生成课程学习目标？
GPT-4 可以生成高质量的学习目标，大多合理、表达准确，符合 Bloom 分类法的不同层次，可以用于支持课程和课程设计的工作。
大语言模型能否独立进行自动评分？
虽然“开箱即用”的大型语言模型提供了宝贵的工具来提供补充视角，但它们对于独立自动评分的准备工作仍然是一个尚未完成的工作，需要人工监督。
