大型语言模型的推理：一项综述

扩大语言模型的参数规模到数十亿个参数开辟了上下文学习的可能性。

允许对模型进行指导调整和少样本学习。

在未经过专门训练的任务上取得了突破性的语言任务性能，如翻译、摘要和问答。

本文回顾了基于提示的推理领域的迅速发展。

分类法识别出生成、评估和控制多步推理的不同方法。

对核心方法和开放问题进行了深入研究，并提出了近期的研究议程。

强调了推理和基于提示学习之间的关系。

讨论了推理、顺序决策过程和强化学习之间的关系。

合理使用提示可以实现自我改进、自我反思和推理过程的一些元认知能力。

从使用 LLMs 进行推理到 LLMs 进行推理的真正自我改进和自我推理仍然是未来的工作。