审慎沉默还是愚蠢闲谈?对大型语言模型对未知问题的响应的研究
原文中文,约400字,阅读约需1分钟。发表于: 。这项研究系统地调查了大型语言模型在缺乏先验知识以生成有意义回答的情况下常出现的产生杜撰和幻觉的问题,旨在探讨如何教导这些模型主动和可靠地表达不确定性。研究发现,在处理无法回答问题的同时,通过针对训练数据中缺失信息设计的对抗性问答基准测试,经过指令微调和来自人类反馈的强化学习后的大型语言模型表现明显优于未经处理的模型。此外,通过提取不确定度表达的方法得到的结果并不始终与大型语言模型直接回答问题...
研究调查了大型语言模型在缺乏先验知识时产生杜撰和幻觉的问题,并探讨了如何教导这些模型表达不确定性。经过微调和人类反馈后的模型在处理无法回答问题时表现更好。提取不确定度的方法与模型的自信程度不一致。呼吁进一步研究如何教导模型表达不确定性。