基于检索增强生成的生成式语言模型用于自动简答评分
原文中文,约400字,阅读约需1分钟。发表于: 。本研究探索了将生成式语言模型应用于自动化短答案评分的方法,通过将训练回答存储在向量数据库中,并在推理过程中检索语义相似的回答,利用生成式语言模型分析这些回答并确定适当的分数,以提高评分准确性。在 SemEval 2013 数据集上的评估表明,与现有方法相比,该方法在 SCIENTSBANK 的 3 向和 2 向任务上取得了显著改进,突显了生成式语言模型在推进自动化短答案评分技术方面的潜力。
自动短答案评分(ASAG)是机器学习研究领域的重要领域。最近研究发现,GPT-4在评分学生答案方面与手工设计的模型相当,但比专门训练的模型差。