全局完善：大型语言模型上的标记级校准度量
内容提要
本文探讨了机器学习模型的校准问题，提出了多种度量标准以更准确地反映标定误差，并评估了常用神经网络的校准技术。研究表明，校准性能依赖于度量方法，并提出了新框架和模糊校准误差度量，以提高大型语言模型的校准能力和可靠性。
延伸解读
校准度量多样化的意义
文章指出，校准性能依赖于度量方法，不同度量反映不同的可靠性定义。这意味着在实际应用中，选择校准度量时需明确可靠性目标，因为常用校准技术在不同度量下可能没有统一改善。这提醒研究者和开发者，不能仅凭单一指标评估模型校准，而应结合具体应用背景选择或设计合适的度量。
大型语言模型校准的挑战
文章通过统一框架和实验发现，大型模型不一定保证更好的校准，校准性能依赖于度量。自一致性方法在基准数据集上表现优异，结合微调、整合相关源文件、缩放温度等技术可提高校准性。这表明提升LLM校准需要多技术协同，且需针对具体任务和度量进行优化，而非简单增大模型规模。
新度量方法的创新点
文章提出了多种新度量，如模糊校准误差（FCE）利用模糊分箱法更好地估计多类设置中的校准误差，缓解置信度分数偏斜的影响；基于测试的校准误差（TCE）引入统计检验的损失函数和优化标准；双分支温度缩放模型（Dual-TS）考虑类别间温度参数多样性。这些方法从不同角度提升了校准误差估计的准确性和模型校准的灵活性。
文化维度与置信度分解的拓展
文章还构建了评估LLMs文化维度的基准CDEval，强调在LLM开发中整合文化考量的重要性，特别是在多元文化环境中。此外，通过将语言模型置信度分解为问题的不确定性和答案的忠诚度，提出即插即用的置信度估计方法，并在多个数据集上验证了校准性能。这些工作拓展了校准研究的范围，从技术层面延伸到文化敏感性和置信度来源分析。
Q&A
如何提高机器学习模型的校准能力？
可以通过引入统一的校准框架和多种校准技术来提高大型语言模型的校准能力。
模糊校准误差 (FCE) 是什么？
模糊校准误差 (FCE) 是一种利用模糊分箱法来计算校准误差的度量方式，能够更好地估计多类设置中的校准误差。
什么是基于测试的校准误差（TCE）指标？
基于测试的校准误差（TCE）是一种新的校准误差度量指标，结合了统计检验的损失函数和优化标准。
如何评估大型语言模型的文化维度？
通过构建评估基准 CDEval，研究主流 LLMs 的文化方面，强调在 LLM 开发中整合文化考量的重要性。
双分支温度缩放校准模型 (Dual-TS) 有什么特点？
Dual-TS 模型考虑了不同类别的温度参数多样性，并提出了新的校准评估度量 Esbin-ECE。
如何通过多校准技术提高模型的置信度分数？
通过在各种数据交叉组合上同时校准，可以显著提高大型语言模型的校准和准确性，从而生成可解释和可靠的置信度分数。
