从分组损失角度重建 LLMs

大型语言模型 (LLMs)，包括 ChatGPT 和 LLaMA，在以自信的口吻生成虚构答案方面容易出错。本文通过构建来自知识库的新评估数据集，评估了 Mistral 和 LLaMA 给出的答案的置信度分数，并展示它们倾向于过于自信。我们还发现它们在一些答案上比在其他答案上更为自信，例如取决于查询中的人的国籍。为了解决这个问题，我们提出了一种重新确定置信度的方法，取消了校准与分组损失。在重新确定置信度的过程中，语言模型表明其响应的准确性与其置信度的对齐有所改善。