视觉语言模型校准的关键因素的实证研究
内容提要
该文综述视觉语言模型的置信度校准，涵盖DAC距离感知校准、多语言模型标定、对齐模型过度自信、LitCab轻量校准及ProbVLM不确定性评估等方法，并总结相关网络结构、预训练目标与数据集。
延伸解读
校准方法概览
文章综述了多种视觉语言模型校准方法，包括DAC距离感知校准、温度缩放、标签平滑、LitCab轻量校准和ProbVLM不确定性评估。这些方法针对不同场景：DAC利用预测标签与基本类的距离调整温度；LitCab仅增加不到2%参数；ProbVLM评估多模态嵌入不确定性。读者可据此了解校准技术的多样性及适用条件。
多语言校准的挑战
研究指出，大规模多语言语言模型在零样本场景下存在明显误标定，尤其在低资源语言或与英语类型不同的语种中更为突出。温度缩放和标签平滑能改善标定，且少量样本数据可显著降低标定误差。这提示多语言应用需特别关注校准，并考虑使用少量目标语言数据微调。
对齐模型的过度自信
对齐的语言模型在多选题设置下常输出过于自信的答案。系统评估表明，对齐过程会影响逻辑回归置信度校准，但可通过易于实施的高效校准方法缓解。这提醒读者，对齐虽提升模型安全性，却可能引入过度自信，需在部署时进行校准干预。
Q&A
视觉语言模型存在什么校准问题？
视觉语言模型存在置信度校准问题，即模型预测的置信度与实际正确性不匹配，导致过度自信或误标定现象。
DAC方法是如何解决视觉语言模型校准问题的？
DAC（距离感知校准）通过调整温度值，根据预测文本标签与基本类之间的距离来校准置信度，实验证明在11个下游数据集和7种提示学习方法上有效，且不影响推理速度。
多语言语言模型在零样本场景下的校准表现如何？
大规模多语言语言模型在零样本场景下存在明显的误标定现象，尤其在低资源语言或与英语类型不同的语种中更为突出。温度缩放和标签平滑等标定方法能改善校准，少量样本数据可显著降低标定误差。
对齐的语言模型为什么容易过度自信？
对齐的语言模型在多选题设置下常显示过于自信的输出答案。系统评估表明，对齐过程影响了逻辑回归置信度校准，但可通过易于实施且高效的校准方法来缓解。
LitCab轻量级校准机制有什么特点？
LitCab是一种轻量级校准机制，仅增加不到原始模型参数2%的线性层对输入文本表示进行操作，改善了模型校准，提升了不同文本生成任务上的性能，并对不同模型进行了综合评估。
ProbVLM如何评估视觉语言模型的不确定性？
ProbVLM是一种评估大规模视觉语言模型多模态嵌入不确定性的新方法，并利用该不确定性提高主动学习和模型选择的效果。
