使用大型语言模型在不同布卢姆技能水平下自动生成教育问题：策略与评估
内容提要
本文探讨了如何改进自动化问题生成技术以支持教育，强调教师在使用自然语言处理系统中的重要性。研究开发的EduQG模型能够自动生成高质量的教育问题，提升教学内容质量。实验结果表明，教师对自动生成问题的接受度高，显示出在课堂环境中广泛应用的潜力。
延伸解读
教师接受度与课堂应用潜力
文章指出，教师对自动生成问题表现出极大兴趣，但实践中仍未被广泛采用。实验结果显示，教师更愿意使用自动生成的问题来编写测验，且这些测验在质量上不亚于手写版本，甚至可能提高质量。这表明，在课堂环境中大规模使用问题生成技术具有潜力，但需要进一步解决实际应用中的障碍。
数据集与评估标准的重要性
研究开发了一个包含3397个样本的数据集，所有问题均由专业人员生成，以确保符合教育及学习标准，并伴随Bloom的认知复杂性水平。该数据集对于教育域的研究和评估具有重要价值，可用于问题与干扰项的生成以及探索新的挑战。这强调了高质量数据集在推动自动化问题生成技术发展中的基础性作用。
模型性能与人类基准的差距
在基于提示的问题生成研究中，T5（使用长提示）在自动评估中表现优于其他模型，但仍低于人类基准。在人类评估标准下，TextDavinci-003通常在各种提示设置下表现更好，但问题生成模型大多仍低于人类基准。这表明，尽管大型语言模型在问题生成上取得了进展，但与人类水平相比仍有提升空间。
不同模型在问题生成中的表现差异
一项比较三种模型在无微调情况下从大学幻灯片文本中生成问题的研究发现，GPT-3.5和Llama 2-Chat 13B在问题的清晰度和问答对应性方面略优于Flan T5 XXL，特别是GPT-3.5在根据输入答案定制问题方面表现突出。这提示在实际应用中，模型选择需根据具体任务需求进行权衡。
Q&A
EduQG模型的主要功能是什么？
EduQG模型能够自动生成高质量的教育问题，以提升数字化教育材料和个性化学习的效果。
教师对自动生成问题的接受度如何？
实验结果表明，教师对自动生成问题的接受度高，显示出在课堂环境中广泛应用的潜力。
研究中使用的数据集包含多少个样本？
研究中使用的数据集包含3397个样本。
自动化问题生成工具的设计基础是什么？
该工具基于Transformer的语言模型，采用模块化框架从文本内容中自动生成多项选择题。
研究中提到的教育问题生成方法有哪些挑战？
利用基于提示的技术生成描述性和推理性问题是一个具有挑战性和耗时的任务。
自动生成的问题在质量上与手写版本相比如何？
自动生成的问题在质量上不亚于手写版本，甚至可以提高测验质量。
