大型语言模型在逻辑和数学推理方面表现出令人瞩目的能力。研究发现，即使是简单的模型也能有效近似图灵机计算的任何函数。通过实验证明，线性网络和浅层多层感知器在文本生成和算术任务中表现出非平凡的性能。语言模型的强大能力主要归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。