不设计，学习：一种可训练的生成式 LLM 不确定性估计评分函数
内容提要
本文探讨了大型语言模型中的不确定性估计与校准问题，提出了MARS和Rank-Calibration等方法，以提高模型的预测准确性和可靠性。研究表明，改进的不确定性估计能显著提升模型在高风险应用中的表现，并通过实验验证了这些方法的有效性。
延伸解读
不确定性估计的多种技术路径
文章汇总了多项研究，提出了MARS、Rank-Calibration、无偏风险估计器、监督学习方法、自动化LLM转换、不确定性感知上下文学习以及不确定性敏感调谐等多种技术。这些方法从不同角度切入，有的改进评分函数，有的提供评估框架，有的通过微调或转换增强模型能力，共同目标是提升LLM不确定性估计的准确性和可靠性。
从提示到精调：校准的关键转变
文章指出，仅使用提示不足以实现良好校准，而在小数据集上进行精调可以创建具有良好概括性和小计算开销的不确定性估计。这意味着在实际应用中，若希望模型可靠地表达不确定性，可能需要针对特定任务进行微调，而非仅仅依赖提示工程。这一发现对高风险场景下的模型部署具有重要参考价值。
不确定性估计的实际收益与评估
通过选择性问答等实验，文章表明使用不确定性估计有选择地回答问题可以显著提高准确性，相比直接使用模型概率更优。同时，Rank-Calibration框架消除了二进制阈值化的需求，提供了更细粒度的评估方式。这些结果说明，良好的不确定性估计不仅能提升模型性能，还能增强人机协作中的信任和决策质量。
Q&A
MARS方法是什么，它如何改善不确定性估计？
MARS（Meaning-Aware Response Scoring）是一种不确定性估计方法，通过整合到现有模型中，显著提高了不确定性估计的性能。
Rank-Calibration框架的主要功能是什么？
Rank-Calibration框架用于评估语言模型的不确定性和置信度，消除了二进制阈值化的需求，并提供细粒度的可解释性。
如何通过精调提高大型语言模型的校准性能？
通过在小数据集上进行精调，可以创建具有良好概括性和小计算开销的不确定性估计，从而提高模型的校准性能。
不确定性感知的上下文学习框架有什么作用？
该框架通过过滤掉高不确定性的答案，改进了大规模语言模型的响应质量，从而提高了模型的准确性。
研究中如何解决负样本问题？
研究提出了一种通用的无偏风险估计器，能够配备任意损失函数，解决了在增强类学习中常见的负样本问题。
大型语言模型在高风险应用中的不确定性估计为何重要？
在高风险应用中，了解何时可以信赖大型语言模型的预测是至关重要的，这有助于提高决策的可靠性。
