大型语言模型(LLMs)普遍存在误校准问题,导致信心分数与实际正确率不符。传统的后处理校准方法包括温度缩放、Platt缩放和等距回归,但由于LLMs的复杂性,这些方法需谨慎应用。研究表明,适应性温度缩放(ATS)能有效改善校准,而Platt缩放适合小数据集,等距回归在数据充足时表现最佳。选择合适的校准方法需考虑任务的“信心”定义。
本研究系统比较了深度学习中的随机不确定性评估,发现深度集成和深度证据回归在高噪声和高维度下存在显著的误校准,强调了后续校准研究的重要性。
完成下面两步后,将自动完成登录并继续当前操作。