GPT-4 能否单独满足自动作文评分？：基于评分人认知的比较判断方法
内容提要
研究探讨了大型语言模型（LLMs），如 GPT-4 和 GPT-3.5，在自动作文评分（AES）中的有效性。实验表明，基于 LLM 的评分系统在准确性和一致性上优于传统模型，并提升了人工评分员的表现。GPT-4 在多项评分任务中表现更佳，结合思维链（CoT）可进一步提高评分准确性。研究强调了自动评分方法的可靠性依赖于上下文，指出在教育领域应用 LLM 的挑战与潜力。
延伸解读
LLM自动评分的优势与局限
研究表明，基于GPT-4等大型语言模型的自动作文评分系统在准确性、一致性和可解释性上优于传统模型，并能辅助人工评分员提升表现。然而，其可靠性高度依赖于具体任务和上下文，跨任务和跨语言时与人工评分的相关性存在较大波动。因此，在实际教育场景中应用时，需谨慎评估其适用性，不能完全替代人工判断。
思维链与提示策略的影响
结合思维链（CoT）可显著提高GPT-4的评分准确性，尤其是在提供项目描述和评分标准时。此外，多特征专业化（MTS）方法通过分解写作特征并生成评分标准，使小规模模型（如Llama2-13b-chat）在特定任务上超越ChatGPT。这表明，合理的提示设计和特征分解能有效提升评分性能，但需要领域专业知识和技术能力。
教育应用中的挑战与潜力
尽管LLM在自动评分和反馈生成上展现出潜力，但研究也指出其评分机制存在不足，例如对反事实干预的识别能力有限。同时，自动评分与反馈生成相互影响，但反馈质量对评分的提升作用较弱。在教育领域，LLM可帮助教师和学生改善文章质量，但需解决可访问性、技术复杂性和解释性等挑战，才能实现有效部署。
Q&A
GPT-4 在自动作文评分中表现如何？
GPT-4 在多项评分任务中表现优于 GPT-3.5，结合思维链（CoT）可进一步提高评分准确性。
大型语言模型在自动作文评分中的优势是什么？
大型语言模型在准确性、一致性、泛化能力和可解释性上优于传统评分模型，并提升了人工评分员的表现。
自动评分方法的可靠性受什么影响？
自动评分方法的可靠性高度依赖于上下文，任务类型的不同会导致与人类评估者之间的相关性变异。
如何提高自动作文评分的准确性？
结合思维链（CoT）和评分标准可以显著提高自动作文评分的准确性。
在教育领域应用大型语言模型面临哪些挑战？
在教育领域应用大型语言模型面临可访问性、技术复杂性和解释性方面的挑战。
ChatGPT 和 Llama 在写作特征评分上有何区别？
ChatGPT 在综合和个体写作特征上的性能稍优于 Llama。
