大型语言模型中的不一致概率判断
内容提要
大语言模型通过预测下一个词训练，其准确性受任务、输出和输入概率影响。GPT-4实验显示，高概率输出时解码密码准确率为51%，低概率时仅13%。模型在推理、认知偏差和判断一致性上存在局限，不应视同人类，而应作为受特定训练压力塑造的独特系统谨慎使用。
延伸解读
概率因素如何影响LLM准确性
文章提出，大语言模型的准确性受三个概率因素影响：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，模型准确性更高；概率较低时，准确性下降。例如，GPT-4解码简单密码时，高概率输出准确率为51%，低概率时仅13%。这表明，即使在确定性环境下，概率也起作用，AI从业者在低概率情况下需谨慎使用LLM。
目的论方法：从训练任务理解LLM行为
作者倡导用目的论方法理解LLM，即考虑其在训练中解决的问题：互联网文本的下一个词预测。通过认识该任务带来的压力，可以预测LLM采用的策略，进而推断其成功或失败。这种方法有助于解释LLM的失效模式，并指导更有效的使用。
LLM不是人类：独特系统需谨慎评估
文章强调，不应将LLM评估为人类，而应视其为受特定训练压力塑造的独特系统。实验显示，LLM在推理、认知偏差和判断一致性上存在局限，如社会偏见中的重新判断不一致、判断一致性易受质疑干扰等。因此，需谨慎使用LLM，并开发针对性评估方法。
Q&A
什么是目的论方法？它如何帮助理解大语言模型？
目的论方法是一种通过考虑大语言模型在训练中解决的问题（即互联网文本的下一个词预测）来理解这些系统的方法。通过认识这个任务带来的压力，可以预测大语言模型采用的策略，从而推断它们的成功或失败。
哪些因素会影响大语言模型的准确性？
三个因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，准确性更高；当概率较低时，准确性下降。
GPT-4在解码密码任务上的表现如何？
GPT-4解码简单密码的准确率取决于输出的概率：当输出是高概率单词序列时，准确率为51%；当输出是低概率时，准确率为13%。
大语言模型在判断一致性方面存在哪些问题？
大语言模型在面临质疑、否定或误导等干扰时，判断一致性会大幅降低，即使初始答案是正确的。此外，模型在时间上没有实质依据，缺乏自洽性，并表现出不一致的行为。
为什么不应将大语言模型视为人类？
因为大语言模型是经过特定训练压力（如下一个词预测）塑造的独特系统，不应被评估为人类，而应作为一类独特的系统谨慎使用。
在低概率情况下使用大语言模型需要注意什么？
AI从业者在低概率情况下使用大语言模型时需要谨慎，因为此时模型的准确性会显著降低。
