CourseGPT-zh：基于知识蒸馏的教育型大型语言模型与提示优化
内容提要
AcademicGPT 是为学术研究设计的模型，展示了在教育反馈、学生求助分类和开放文本评分等方面的潜力。研究表明，GPT-4 在课堂对话分析和教育材料生成中表现优异，显著提高了教学效率和评估一致性。
延伸解读
教育评估自动化的可行性与局限
文章汇总的多项研究表明，GPT-4在课堂对话分析、学生求助分类和开放文本评分等任务中与人工编码者高度一致，且能显著节省时间。这提示教育机构可尝试将LLM用于低风险形成性评估或教学诊断，但需注意模型在某些代码上仍与人工存在差异，完全替代人工判断可能带来风险。
提示工程对评分一致性的影响
在MOOCs同行评分替代实验中，Zero-shot-CoT结合教师答案和评分标准时与教师评分更一致。这说明提示策略和参考材料的引入会明显影响LLM输出质量。实际应用时，应重视提示设计，并利用教师提供的标准作为约束，而非直接依赖零样本推理。
从评估到生成：语言模型的双重角色
文章介绍了一种方法：一个语言模型生成教育材料，另一个语言模型作为奖励函数进行指令优化，并在数学问题工作表领域应用。人类教师评估发现模型判断与教师偏好显著一致。这展示了LLM不仅能评估学习成果，还能辅助教学设计，但需警惕自动化教学设计可能带来的陷阱。
领域专用模型的多样化探索
除通用教育评估外，文章还提及GrammarGPT、HPC-GPT和HuatuoGPT等专用模型，分别针对中文语法纠错、高性能计算和医学咨询。这些案例表明，基于LLaMA等基座模型进行领域微调或知识蒸馏，能提升特定任务表现，为教育之外的专业场景提供参考。
Q&A
AcademicGPT 是什么？
AcademicGPT 是一个专为学术研究设计的模型，展示了其在广泛知识能力、中文能力和学术能力方面的实用能力。
GPT-4 在教育反馈中表现如何？
研究表明，GPT-4 在教育反馈调查中表现优异，能够提供洞察力并提高评估一致性。
如何使用大型语言模型进行开放文本评分？
研究探讨了使用 GPT-4 对开放文本短答案进行评分，发现其表现接近人类水平，适用于 K-12 教育中的形成性评估。
GPT-4 在课堂对话分析中的优势是什么？
GPT-4 能够显著节省时间，并与人工编码者保持高度一致性，提升课堂对话分析的效率。
大型语言模型如何优化教育材料的生成？
通过一个语言模型生成教育材料，另一个模型作为奖励函数进行优化，能够最大化学生的学习收益。
使用 LLMs 取代同行评分的效果如何？
研究发现，LLMs 在 MOOCs 中的同行评分与教师评分更加一致，为自动化评分系统提供了希望的方向。
