大型语言模型校准的影响因素：响应一致性、损失函数和提示风格的研究

BriefGPT - AI 论文速递 · 2025-01-07T00:00:00Z

本研究解决了大型语言模型（LLMs）校准中的具体问题，即现有方法在不同提示风格和模型规模下的泛化能力不足。通过定义一个包含12个LLM和四种提示风格的受控实验设置，构建了一个新框架Calib-n，以响应一致性和适当的损失函数来提升模型的信任度估计。结果表明，结合响应一致性和聚焦损失显著提高了校准性能，为LLMs在多种应用中的可靠部署提供了支持。