一致预测何时可能是正确预测？
内容提要
本文探讨了大型语言模型（LLMs）在自我一致性方面的表现，提出了一种新的自我一致性方法（USC），通过多个候选答案选择最一致的结果。研究表明，USC在数学推理和代码生成等任务中显著提升了性能，并在开放式生成任务中有效利用多个样本。尽管一致性有所提高，但在特定主题上仍存在不一致性问题。
延伸解读
一致性并非绝对可靠
文章指出，尽管大型语言模型在整数序列填充等任务中表现出较高的一致性（67%-82%），且一致性随模型能力提升而增加，但模型在自我一致性上存在不良标定性，并倾向于在潜在答案中分配显著权重。这意味着高一致性不一定代表答案正确，可能只是模型对某些错误答案的过度自信。读者需警惕一致性作为正确性指标的局限性。
USC方法的优势与适用场景
USC通过多个候选答案选择最一致的结果，在数学推理、代码生成、长篇摘要和开放式问答等任务中提升了性能。在开放式生成任务中，USC能有效利用多个样本；在数学推理中，无需答案格式相似即可达到标准自我一致性性能；在代码生成中，无需执行结果也能达到基于执行的投票性能。这表明USC具有较广的适用性。
微调模型与基础模型的一致性差异
研究发现，基础模型在一致性方面比微调模型更一致，且在不同主题上保持稳定。而微调模型在某些主题（如“安乐死”）上一致性较差，但在其他主题（如“妇女权益”）上与人类研究对象相似。这提示微调可能引入主题相关的不一致性，读者在评估模型一致性时需考虑模型类型和主题差异。
ConsisEval基准与不一致性根源
ConsisEval基准用于量化模型一致性，发现GPT-4一致性得分最高，但仍对特定问题存在不一致性，可能源于多余信息干扰或对问题的错误解读。能力更强的模型通常一致性更高，但也有例外。硬数据能提高微调和上下文学习的一致性。这些发现有助于理解不一致性的成因及改进方向。
Q&A
什么是自我一致性方法（USC）？
自我一致性方法（USC）是一种通过多个候选答案选择最一致结果的新方法，旨在提高大型语言模型的生成质量和一致性。
USC在数学推理任务中的表现如何？
USC在数学推理任务中显著提升了性能，达到了标准自我一致性的效果，而不要求答案格式相似。
ConsisEval基准的作用是什么？
ConsisEval基准用于量化大型语言模型的一致性，帮助分析和改进模型的一致性表现。
大型语言模型在特定主题上的一致性问题是什么？
尽管一致性有所提高，但在特定主题上仍存在不一致性问题，尤其是微调模型与基础模型之间的表现差异。
USC如何在开放式生成任务中提高性能？
USC通过有效利用多个样本，在开放式生成任务中提高了生成质量和一致性。
大型语言模型的一致性得分如何？
研究发现，尽管GPT-4的一致性得分最高，但在特定问题上仍存在不一致性，可能由多余信息干扰和错误解读引起。
