Dr.学院：评估大型语言模型在教育中提问能力的基准
内容提要
本研究探讨大型语言模型（LLMs）在教育中的应用，特别是其自动生成高质量问题的能力。研究表明，LLMs能够有效提升教学内容质量，尤其在口语学习和自动评分方面表现突出。此外，研究提出了一种将LLMs知识提炼为更小模型的方法，以便在资源受限设备上使用，展示了其在教育环境中的潜力与挑战。
延伸解读
模型选择与性能差异
文章比较了GPT-3.5、Llama 2-Chat 13B和Flan T5 XXL在无微调情况下从大学幻灯片生成问题的能力。结果显示，GPT-3.5和Llama 2-Chat 13B在问题清晰度和问答对应性上略优于Flan T5 XXL，其中GPT-3.5在根据输入答案定制问题方面表现突出。这提示教育者在选用模型时需考虑具体任务需求。
自动评估的局限性
研究发现，尽管LLMs能生成符合不同认知水平的高质量问题，但自动评估无法与人工评估相媲美。这意味着在实际教育应用中，完全依赖自动评估可能不够可靠，需要结合人工判断来确保问题质量。
知识蒸馏助力资源受限部署
为在资源受限设备上部署LLMs，研究提出将LLMs知识提炼为更小模型的方法。通过使用LLM的预测概率训练学生模型，学生模型参数仅0.1M至0.02M，比原始模型减小100倍和10倍，且在部分数据集上准确率比原始神经网络模型高12%。这为自动评分在典型教育环境中的运用提供了潜力。
口语学习中的优势与局限
在口语学习领域，LLMs在音韵学、语音学和第二语言习得方面表现出良好的概念理解，但在解决现实世界问题的推理方面存在限制。这表明LLMs可作为口语学习的辅助工具，但在复杂推理任务上仍需谨慎使用。
Q&A
大型语言模型在教育中如何提升教学内容质量？
大型语言模型通过生成高质量的问题和提供个性化反馈，显著提升了教学内容的质量，尤其在口语学习和自动评分方面表现突出。
LLMs在生成数学问题方面的表现如何？
LLMs能够生成高质量的顺序问题，从而提升数学词问题求解的性能，显示出其在教育中的潜力。
GPT-4在评分学生答案时的表现如何？
GPT-4在评分真实学生答案时表现接近人类水平，对K-12教育中的形成性评估任务具有重要意义。
如何将大型语言模型知识提炼为小模型？
研究提出了一种方法，通过训练较小的学生模型来模仿大型语言模型的输出概率，以便在资源受限设备上使用。
LLMs在口语学习领域的表现如何？
LLMs在口语学习领域表现出良好的概念理解，但在解决现实世界问题的推理方面存在一定限制。
自动评估与人工评估的比较结果如何？
研究发现，虽然LLMs能够生成高质量的问题，但其自动评估的效果无法与人工评估相媲美。
