本文介绍了一种名为“词的思考”（ToW）的数据增强方法，用于改善下一词预测中的事实幻觉和效率问题。通过从大型模型中提取ToW注释，使用70K注释可提升模型推理能力7%至9%，并减少高达10%的幻觉现象，显示出显著潜力。

大语言模型通过互联网文本的下一词预测训练，其准确性受任务、输出和输入概率影响。实验表明，GPT-4解码高概率密码的准确率为51%，低概率仅13%。因此，应将其视为独特系统而非人类来评估。

论文提出“目的论方法”，认为大语言模型通过预测互联网文本的下一词工作，其准确性受任务概率、目标输出概率和输入概率影响。作者用GPT-3.5和GPT-4测试十一项任务，发现高概率任务更准确，低概率任务明显下降，如GPT-4解码密码准确率从51%降至13%，因此应将其视为受特定压力塑造的独特系统。

文章提出目的论方法，主张从大语言模型的训练任务——互联网文本下一词预测——理解其行为。研究预测任务概率、目标输出概率和输入概率对模型准确性的影响，并用GPT-3.5和GPT-4进行十一项任务验证。结果显示，高概率输出时表现更好，低概率时明显下降，如GPT-4解码密码准确率从51%降至13%。作者建议低概率场景慎用，并将大语言模型视为受特定压力塑造的独特系统。