DiVERT: 使用代表文本的变量错误生成干扰项的数学多项选择题
内容提要
本研究探讨了大型语言模型在自动生成多项选择题干扰项方面的能力，发现其在预测学生常见错误上表现较弱。通过评估生成的干扰项和反馈信息，提出了改进方向，并展示了上下文感知模型在生成高质量误选项方面的优势。此外，研究还创建了教育问题测试题库和多语言误选项词汇池，为未来研究提供支持。
延伸解读
LLM生成干扰项的局限
文章指出，大型语言模型虽能生成数学上有效的干扰项，但在预测学生常见错误或误解方面表现较弱。这意味着自动生成的干扰项可能缺乏教学针对性，无法有效诊断学生的知识漏洞。因此，在实际应用中，教师需对生成结果进行筛选和调整，不能完全依赖模型输出。
上下文感知方法的优势
通过从题库自动检索题目作为上下文示例，引导LLM生成相关干扰项的策略，在教师评价中53%的生成干扰项被评为高质量，优于零样本和少样本ChatGPT。这表明提供具体、相关的上下文能显著提升生成质量，为未来工具开发提供了方向。
评估与数据资源
研究创建了298道涵盖多学科多语言的教育问题测试题库和77K多语言误选项词汇池，并提出了DISTO评价模型，验证其比机器翻译指标更符合人类感知。这些资源为干扰项生成的标准化评估和跨语言研究奠定了基础。
数据集与未来方向
调查显示，超过一半的数据集来自科学和英语等特定领域，以文本为主，缺乏开放域和多模态数据集。这限制了干扰项生成模型的泛化能力。未来研究需构建更多样化的数据集，并探索多模态上下文，以提升生成干扰项的适用性。
Q&A
大型语言模型在生成多项选择题干扰项方面的表现如何？
大型语言模型在生成多项选择题干扰项时，虽然能生成数学上有效的干扰项，但对预测学生常见错误的能力较弱。
研究中提出了哪些改进生成干扰项的策略？
研究提出通过从题库自动检索题目作为上下文示例，引导大型语言模型生成相关干扰项的策略。
上下文感知模型与传统特征模型相比有什么优势？
上下文感知模型在生成高质量误选项方面明显优于传统特征模型。
研究中创建了什么样的教育问题测试题库？
研究创建了一个包含298道涵盖多个学科和语言的教育问题测试题库，以及一个77K的多语言误选项词汇池。
生成的干扰项质量如何评估？
生成的干扰项质量通过教师评价进行评估，结果显示53%的生成干扰项被评为高质量。
人工编写的干扰项与生成的干扰项相比如何？
尽管生成的干扰项质量有所提高，但人工编写的干扰项仍然优于生成的干扰项。
