MARS: 生成型 LLM 中对不确定性估计的意义感知响应评分
内容提要
本文综述大语言模型不确定性量化研究，提出MARS评估标准，利用强化学习提升生成评估；发现检索增强模型仍过度自信，语义分散均值可衡量响应质量；不确定性感知方法能提升问答准确性并过滤高风险答案；研究还揭示模型规模、指令微调与确定性的关系。
延伸解读
不确定性量化在检索增强模型中的挑战
文章指出，检索增强的语言模型即使引入了外部科学知识，仍可能对预测结果过度自信。这意味着检索语料库并不能自动解决模型校准问题，不确定性量化在增强模型中依然必要。读者需注意，单纯增加检索模块未必能提升模型对自身知识边界的认知，评估时需单独考察不确定性表现。
语义分散均值作为响应质量指标
针对黑盒大语言模型的自然语言生成，研究提出若干置信度统计量，并发现语义分散的平均值能可靠评估响应质量。这为无法访问模型内部状态时提供了一种实用评估思路。但该指标基于语义层面的分散程度，其有效性可能受生成任务类型影响，实际应用时需结合具体场景验证。
模型规模与指令微调对确定性的影响
文章整合评估发现：准确性高的模型可能确定性较低；规模更大的模型可能比较小模型表现出更大的不确定性；指令微调倾向于增加模型的不确定性。这些结果提示，模型能力提升不一定伴随更好的校准，评估语言模型时应将不确定性纳入考量，而非仅关注准确率。
Q&A
MARS评估标准是什么？它有什么优势？
MARS（Language Model Augmented Relevance Score）是一种面向语言生成的评估标准，它引入强化学习引导的预训练语言模型来创建上下文感知的评估参考，并用于对生成文本进行评分。与已有的七种评估标准相比，MARS不仅更好地反映了人类评价，而且在较大程度上区分了良好生成结果和对抗样本。
如何让大语言模型具备不确定性感知能力？
可以通过一种自动化的大语言模型转换方法，产生能够在每个预测中估计不确定性的具有不确定性感知能力的LLM。该方法与模型和数据无关，计算效率高，不依赖外部模型或系统。在选择性问答环境下评估转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。在SQuAD抽取式问答和TruthfulQA生成式问答任务上测试BERT和Llama 2模型变体，表明使用该方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。
检索增强语言模型在不确定性量化方面存在什么问题？
研究发现，检索语料库中包含的科学知识无法解决模型对预测结果过度自信的问题。
如何评估大语言模型生成响应的质量？
基于黑盒LLMs的自然语言生成的不确定性计量，提出几个置信度/不确定度统计度量标准，并发现语义分散的平均值可以作为评估LLMs响应质量的可靠指标。
不确定性感知的上下文学习框架有什么作用？
通过引入一种不确定性感知的上下文学习框架，可以改进大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。
模型规模、指令微调与不确定性之间有什么关系？
研究发现：准确性较高的大型语言模型可能显示出较低的确定性，较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，指令微调倾向于增加语言模型的不确定性。这些结果强调了在语言模型评估中整合不确定性的重要性。
