批次通用预测
内容提要
论文提出“目的论方法”，认为大语言模型通过预测互联网文本的下一词工作，其准确性受任务概率、目标输出概率和输入概率影响。作者用GPT-3.5和GPT-4测试十一项任务，发现高概率任务更准确，低概率任务明显下降，如GPT-4解码密码准确率从51%降至13%，因此应将其视为受特定压力塑造的独特系统。
延伸解读
目的论方法：理解大语言模型的新视角
文章提出“目的论方法”，主张从大语言模型训练任务（互联网文本的下一词预测）出发，理解其行为。该方法认为，模型准确性受三个概率因素影响：任务概率、目标输出概率和输入概率。高概率任务表现更好，低概率任务则可能显著下降。这为预测模型成功或失败提供了理论框架，也提示从业者需关注任务在训练分布中的概率。
低概率任务下的性能风险
实验显示，GPT-4在解码简单密码时，若输出为高概率单词序列，准确率为51%；若为低概率序列，准确率降至13%。这表明即使确定性任务，低概率输出也会导致性能骤降。因此，在低概率场景中使用大语言模型需格外谨慎，避免因任务罕见而高估其能力。
将大语言模型视为独特系统
文章强调，不应将大语言模型与人类等同评估，而应视其为受特定训练压力塑造的独特系统。这种观点有助于解释模型在低概率任务中的失效模式，并指导更合理的评估和使用。从业者应认识到模型的局限性源于其训练目标，而非人类般的推理能力。
Q&A
什么是目的论方法？
目的论方法是一种理解大语言模型的框架，主张通过考虑模型在训练中解决的问题——互联网文本的下一个词预测——来预测其策略和表现。该方法认为大语言模型的准确性受三个概率因素影响：执行任务的概率、目标输出的概率和提供的输入的概率。
哪些因素会影响大语言模型的准确性？
根据目的论方法，三个因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，模型的准确性更高；当概率较低时，准确性会下降。
大语言模型在低概率任务上的表现如何？
大语言模型在低概率任务上表现较差。例如，GPT-4解码简单密码时，当输出是高概率单词序列，准确率为51%；当输出是低概率时，准确率降至13%。这表明在低概率情况下使用大语言模型需要谨慎。
为什么不应该将大语言模型评估为人类？
因为大语言模型是经过特定压力（如下一个词预测任务）塑造的独特系统，其行为和失败模式与人类不同。论文结论指出，我们不应把大语言模型评估为人类，而应将其视为一类独特的系统。
论文中使用了哪些模型和任务进行验证？
论文使用GPT-3.5和GPT-4两个大语言模型，对十一项任务进行了评估，以验证关于概率因素影响准确性的预测。
大语言模型在预测任务中的表现是否一致优于人类？
不一定。一项针对零售行业销售预测的研究比较了人类专家和多个大语言模型（包括ChatGPT4、ChatGPT3.5、Bard、Bing和Llama2），发现大语言模型在预测准确性上并不一致地胜过人类，高级统计预测模型也不一致地提升性能。
