本研究分析了优化推理的语言模型o1,探讨其自回归不足的问题。结果显示,o1在处理稀有变体任务时有所提升,但仍对例子和任务概率敏感,表明优化未能完全解决这一问题。
大语言模型本质是预测互联网文本的下一个词。研究提出“目的论方法”,认为任务概率、目标输出概率和输入概率影响其准确性,并用GPT-3.5和GPT-4在十一项任务中验证。结果显示,高概率时准确率更高,低概率时显著下降,如GPT-4解码密码准确率从51%降至13%。因此应把大语言模型视为受特定训练压力塑造的独特系统,而非人类。
论文提出“目的论方法”,认为大语言模型通过预测互联网文本的下一词工作,其准确性受任务概率、目标输出概率和输入概率影响。作者用GPT-3.5和GPT-4测试十一项任务,发现高概率任务更准确,低概率任务明显下降,如GPT-4解码密码准确率从51%降至13%,因此应将其视为受特定压力塑造的独特系统。
大语言模型的准确性受到任务概率的影响,高概率时准确率高,低概率时准确率低。使用大语言模型需谨慎,视为一类独特系统,非人类。
完成下面两步后,将自动完成登录并继续当前操作。