从分组损失角度重建 LLMs
内容提要
大型语言模型需准确传达预测可信度以赢得信任。默认解释会让用户高估模型信心，而反映内部可信度的解释能改善感知。研究发现模型常过度自信，类似邓宁-克鲁格效应，且面对质疑时判断一致性大幅下降。
延伸解读
校准与信任：高风险应用的关键
文章指出，大型语言模型需准确传达预测可信度以赢得信任。默认解释会导致用户高估模型信心，而反映内部可信度的解释能改善感知。在高风险场景中，透明传达可信度尤为重要，这有助于用户正确评估AI生成信息的可靠性。
过度自信与邓宁-克鲁格效应
研究发现模型常过度自信，类似人类心理学中的邓宁-克鲁格效应，即高置信度但回答错误。同时存在低置信度但回答正确的情况，显示低估偏差。这强调需深入研究模型认知过程，以拓展其功能和应用。
质疑下的判断一致性下降
通过跟进质问机制评估发现，即使初始答案正确，当模型面临质疑、否定或误导时，判断一致性会大幅降低。研究还观察了提示语气的影响，并探索了几种提示方法以缓解此问题，展示了其有效性。
Q&A
为什么大型语言模型需要良好的校准能力？
为了赢得人类的信任，大型语言模型需要具备良好的校准能力，准确评估和传达其预测的正确概率。
默认解释如何影响用户对语言模型可信度的感知？
默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够显著影响用户感知，增强对模型输出的信任和准确性评估。
大型语言模型是否存在类似邓宁-克鲁格效应的现象？
是的，研究发现大型语言模型会展现高置信度但回答错误的情况，类似于人类心理学中的邓宁-克鲁格效应，同时也存在低置信度但回答正确的情况，展示了潜在的低估偏差。
大型语言模型在面对质疑时判断一致性如何？
实证结果表明，即使初始答案是正确的，当语言模型面临质疑、否定或误导等干扰时，判断一致性会大幅降低。
有哪些方法可以评估大型语言模型的置信度？
研究提出了基于词汇、一致性和混合等三类别的自信度引出方法，以及基于黑盒LLMs的置信度/不确定度统计度量标准，如语义分散的平均值可作为评估响应质量的可靠指标。
如何教导大型语言模型主动表达不确定性？
研究通过针对训练数据中缺失信息设计的对抗性问答基准测试，发现经过指令微调和来自人类反馈的强化学习后的大型语言模型在表达不确定性方面表现明显优于未经处理的模型，但提取不确定度表达的方法结果并不始终与模型直接回答的自信程度一致，因此需要进一步研究。
