超越概率：揭示大型语言模型评估中的不一致性
内容提要
大语言模型通过互联网文本的下一词预测训练，其准确性受任务、输出和输入概率影响。实验表明，GPT-4解码高概率密码的准确率为51%，低概率仅13%。因此，应将其视为独特系统而非人类来评估。
延伸解读
概率如何影响大语言模型的准确性
文章指出，大语言模型的准确性受三个概率因素影响：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，模型准确性更高；概率较低时，准确性下降。例如，GPT-4解码高概率密码的准确率为51%，低概率时仅为13%。这表明在低概率场景下，模型表现可能显著变差，从业者需谨慎使用。
目的论方法：从训练任务理解模型行为
作者提出目的论方法，主张通过分析大语言模型在训练中解决的问题——互联网文本的下一词预测——来预测其策略和表现。这种方法帮助识别模型成功或失败的条件，而不仅仅是评估结果。它强调模型行为受训练压力塑造，而非随机或类人推理，为理解模型局限性提供了新视角。
评估大语言模型：不应类比人类
文章结论强调，不应将大语言模型作为人类来评估，而应视其为受特定训练压力塑造的独特系统。实验显示，模型在确定性环境下仍受概率影响，这违背了人类评估的直觉。因此，评估方法需考虑模型特有的概率敏感性，避免直接套用人类认知标准，以更准确反映其真实能力。
Q&A
什么是目的论方法？它如何帮助理解大语言模型？
目的论方法是指通过考虑大语言模型在训练中解决的问题——互联网文本的下一个词预测——来理解这些系统。通过认识这个任务带来的压力，可以预测大语言模型采用的策略，从而推断它们的成功或失败。
哪些因素会影响大语言模型的准确性？
三个因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，准确性更高；当概率较低时，准确性下降。
GPT-4在解码密码任务上的表现如何？
在解码简单密码任务中，当输出是高概率单词序列时，GPT-4的准确率为51%；当输出是低概率时，准确率为13%。
为什么不应该像评估人类一样评估大语言模型？
因为大语言模型是经过自己特定压力（如下一个词预测）塑造的独特系统，而不是人类。它们的行为受到概率因素的影响，因此应该将它们视为一类独特的系统来评估。
AI从业者在什么情况下使用大语言模型需要谨慎？
AI从业者在低概率情况下使用大语言模型时需要谨慎，因为此时模型的准确性会显著下降。
这项研究使用了哪些大语言模型和任务进行验证？
研究对两个大语言模型（GPT-3.5和GPT-4）进行了十一项任务的评估，以验证关于概率影响准确性的预测。
