LLMs 的置信度校准和理性化通过多智能体思考

当前大型语言模型中的不确定性估计问题是一个重要的问题，这些模型通常不够校准，且过于自信，特别在从人类反馈中进行强化学习时。与人类不同，人类的决策和自信度不仅源于内在信念，还可以通过日常观察进行调整，而现有的语言模型校准方法主要集中在估计或引导个体自信度，而未充分利用 “集体智慧”：多个语言模型之间的互动能够共同提高准确性和校准度。在本研究中，我们提出了协同校准（Collaborative Calibration），这是一种无需后期训练的校准策略，利用了多个增强型语言模型代理在模拟团体讨论过程中的协同和表现能力。我们在不同领域的生成型问答任务中展示了协同校准的有效性，展示了其利用共同校准的自信度评估进行合理化，并提高模型预测可靠性的潜力。