预测下一个单词：人类在此任务中表现出的不确定性及语言模型
内容提要
大语言模型本质是预测互联网文本的下一个词。研究提出“目的论方法”，认为任务概率、目标输出概率和输入概率影响其准确性，并用GPT-3.5和GPT-4在十一项任务中验证。结果显示，高概率时准确率更高，低概率时显著下降，如GPT-4解码密码准确率从51%降至13%。因此应把大语言模型视为受特定训练压力塑造的独特系统，而非人类。
延伸解读
目的论方法：从训练任务理解模型行为
文章提出“目的论方法”，主张通过分析大语言模型在训练中解决的核心任务——互联网文本的下一个词预测——来理解其行为。该方法识别出三个影响准确性的概率因素：任务概率、目标输出概率和输入概率。这为预测模型在何种情况下容易成功或失败提供了理论框架，而非仅从人类认知角度进行类比。
低概率场景下的性能风险
实验显示，当目标输出为低概率词序列时，GPT-4等模型的准确性显著下降。例如，解码简单密码的准确率从高概率时的51%降至低概率时的13%。这表明在低概率或确定性环境中，模型可能表现不稳定。AI从业者需警惕此类场景，避免盲目依赖模型输出。
模型与人类的本质差异
文章强调，不应将大语言模型视为人类来评估，而应将其看作受特定训练压力塑造的独特系统。人类在下一个词预测任务中表现出不确定性，而模型的行为受概率因素驱动。这种差异意味着直接套用人类认知标准可能误导对模型能力的判断，需建立适合其特性的评估体系。
Q&A
什么是目的论方法？它如何帮助理解大语言模型？
目的论方法是一种通过考虑大语言模型在训练中解决的问题（即互联网文本的下一个词预测）来理解其策略的方法。它认为大语言模型的准确性受三个概率因素影响：执行任务的概率、目标输出的概率和提供的输入的概率。通过分析这些概率，可以预测模型在哪些情况下会成功或失败。
哪些概率因素会影响大语言模型的准确性？
根据目的论方法，三个概率因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，模型的准确性更高；当概率较低时，准确性会显著下降。
GPT-4在解码密码任务中的表现如何？
在解码简单密码的任务中，当输出是高概率单词序列时，GPT-4的准确率为51%；但当输出是低概率时，准确率降至13%。这表明低概率情况下模型性能大幅下降。
为什么不应该将大语言模型评估为人类？
因为大语言模型是经过特定训练压力（如下一个词预测）塑造的独特系统，其行为受概率因素影响，与人类有本质区别。研究显示，在低概率情况下，模型会出现令人惊讶的失效模式，因此不能简单地以人类标准评估它们。
AI从业者在什么情况下需要谨慎使用大语言模型？
AI从业者在低概率情况下使用大语言模型时需要谨慎，因为此时模型的准确性会显著下降，即使在确定性环境中也可能出现失效模式。
研究如何验证目的论方法的预测？
研究通过评估两个大语言模型（GPT-3.5和GPT-4）在十一项任务中的表现来验证预测。结果找到了强有力的证据，表明大语言模型受到所假设的概率因素的影响，并在许多情况下揭示了令人惊讶的失效模式。
