LLMs 的置信度校准和理性化通过多智能体思考
内容提要
本文探讨了大型语言模型（LLM）置信度校准的新方法，提出通过多校准技术和多模型协作来提高置信度分数的准确性。研究表明，合理的提示策略和温度缩放能显著降低校准误差，并提出了新的评估指标以分析模型输出的可信度，旨在提升模型生成答案的可靠性。
延伸解读
多智能体协作如何提升推理可靠性
文章提到，通过模拟学术同行评审的多模型协同策略，多个代理独立构建解决方案、相互审查并分配评审置信度，最终反复修订得到更优结果。这种方法在数学和策略推理任务中表现出色，能有效整合评审置信度，减少虚假答案和幻觉现象。这为模仿人类协作过程提供了有前景的方向，但需注意其效果可能依赖于任务类型和模型间的交互质量。
置信度校准的实用技术：温度缩放与提示策略
文章指出，通过合理的提示策略和温度缩放，可以成功降低超过50%的校准误差。这些方法不需要模型微调，适用于黑盒模型，为实际应用提供了即插即用的解决方案。然而，校准性能可能因模型和数据集而异，文章也提到大规模模型不一定保证更好的校准，因此在实际部署中需结合具体场景评估。
现有模型的过度自信问题与评估挑战
文章通过构建新评估数据集发现，Mistral和LLaMA等模型在生成答案时倾向于过度自信，且自信程度可能因查询中的人物国籍等因素而变化。现有方法通常只考虑单个答案的置信度，难以全面解决过度自信。为此，文章提出评估多个候选答案可信度的新范式，并引入IPR和CE等新指标，以更细致地分析校准性。
Q&A
如何提高大型语言模型的置信度校准？
通过多校准技术和合理的提示策略及温度缩放，可以显著提高大型语言模型的置信度校准。
多模型协同合作策略的作用是什么？
多模型协同合作策略模拟学术同行评审过程，提升了模型在多个推理任务中的准确性。
文章中提到的新的评估指标有哪些？
文章提出了新的评估指标 IPR 和 CE，用于分析模型的校准性。
如何解决大型语言模型的过度自信问题？
通过全面评估多个候选答案的可信度，可以减轻对错误答案的过度自信。
什么是即插即用的置信度估计方法？
即插即用的方法通过将语言模型置信度分解为问题的不确定性和答案的忠诚度来估计置信度。
如何改善语言模型在数学推理方面的表现？
通过多个语言模型实例的反复辩论和推理过程，可以改善语言模型在数学推理方面的表现。
