如何提高？使用 GPT 凸显开放式回答中的期望和不期望的部分
内容提要
本研究探讨了GPT-3.5和GPT-4模型在教育中的应用，特别是在自动评分和个性化反馈方面。研究表明，GPT-3.5在评分准确性上优于BERT模型，并能生成高质量反馈。GPT-4在教师与学生的对话中表现出色，但在识别真诚赞扬方面存在不足。未来研究将集中于提升提示工程和评估模型的教学能力。
延伸解读
GPT-3.5在自动评分中的优势与局限
文章指出，GPT-3.5在自动评分准确性上显著优于经过领域特定训练的BERT模型，并能生成有效且高质量的反馈，73%的学生提交被正确识别。这表明GPT-3.5在科学教育等场景中具有应用潜力。然而，其评分准确性仍受限于训练数据和任务类型，且对开放式回答的评估可能不如封闭式问题稳定。读者需注意，自动评分工具应作为辅助而非完全替代人工评价。
GPT-4在识别真诚赞扬上的不足
在导师-学生对话评估中，GPT-4能较好识别具体和即时的赞扬，但在识别真诚赞扬时表现不佳，尤其是在零-shot提示场景下。零-shot和少-shot思维链方法结果相似，说明提示方式对真诚赞扬识别影响有限。这提示我们，当前模型对情感和意图的深层理解仍有欠缺，在需要细腻情感反馈的教育应用中需谨慎使用。
提示工程与评估标准的重要性
文章强调，高质量提示能提升语言模型生成效果，未来研究需增强提示工程。同时，评估模型教学能力时，不能仅依赖对话连贯性和语言建模分布，还需关注模型展示教学技巧的能力。此外，数据集特征如采样、代表性和对话完整性对微调模型泛化能力构成挑战。这提醒开发者和教育者，在应用GPT进行教学反馈时，应设计更全面的评估体系。
GPT生成文本评分偏差的警示
一项实证评估发现，转换器预训练语言模型对人工文本质量评分更准确，但对GPT生成的文本评分平均高出10-15%。这意味着自动评分系统可能对AI生成内容存在偏见，影响公平性。在教育评估中，若学生使用AI辅助完成作业，评分系统可能高估其质量。因此，需警惕生成AI对自动评分系统的干扰，并开发更鲁棒的评估方法。
Q&A
GPT-3.5在自动评分方面的表现如何？
GPT-3.5在自动评分准确性上显著优于经过领域特定训练的BERT模型。
GPT-4在教育对话中的表现如何？
GPT-4在教师与学生的对话中表现出色，但在识别真诚赞扬方面存在不足。
如何提高教师的反馈质量？
提供具体及时的反馈可以提高人类导师的表现，使用大语言模型为导师提供反馈也具有潜力。
GPT-3.5生成的反馈质量如何？
研究显示，GPT-3.5能够成功生成有效且高质量的反馈，73%的学生提交被正确识别。
未来的研究方向是什么？
未来研究将集中于提升提示工程和评估模型的教学能力。
GPT-4在识别赞扬方面的能力如何？
GPT-4在识别具体和即时赞扬方面表现良好，但在识别真诚赞扬的能力上表现不佳，尤其是在零-shot提示场景中。
