令牌经济中的推理：对 LLM 推理策略的预算感知评估
内容提要
最近研究表明，大型语言模型（LLMs）在推理任务中表现优异，但在推理链一致性方面存在挑战。研究者引入“规划标记”以指导推理步骤，并微调模型参数，从而显著提高了准确性。此外，提出的新评估范式揭示了现有基准测试的不足，强调了对LLMs认知能力的更准确评估。
延伸解读
规划标记：轻量级微调提升推理一致性
文章指出，LLM 能处理单个推理步骤，但难以保持整个推理链的一致性。为此，研究者在每个推理步骤开始处引入“规划标记”作为指南，并将这些标记嵌入与模型参数一起微调。该方法仅增加 0.001% 的可训练参数，可通过完全微调或参数高效方案实施。在三种 LLM 和三个数学问题数据集上评估，相比原始链式思维微调基准，准确性显著提升。
新评估范式：从结果导向到元推理
文章提出一种新颖的评估范式，挑战 LLM 进行元推理，以解决现有数学问题基准（如 GSM8K）的关键缺陷。传统评估以结果为导向，而新范式更综合，能有效区分模型认知能力。例如，GPT-4 的准确率是 GPT3.5 的十倍。该范式还能揭示当前基准因饱和度和区分度不足而未能发现的语言模型潜在认知缺陷。
推理能力：统一准则与系统评估
文章提出“推理能力”概念作为统一准则，以在优化过程中整合约束并建立系统内不同组件之间的联系，实现更全面、综合的评估。文章给出推理能力的正式定义，并说明其识别系统各组件限制的实用性。此外，讨论了通过自反思过程解决推理缺陷，并利用人的反馈缓解推理不足，增强整个系统的一致性。
Q&A
大型语言模型在推理任务中存在哪些挑战？
大型语言模型在推理链的一致性方面存在挑战，尽管它们能够处理个别推理步骤。
研究者如何提高大型语言模型的推理准确性？
研究者通过引入“规划标记”并微调模型参数，显著提高了推理的准确性。
新评估范式对大型语言模型的影响是什么？
新评估范式能够有效区分模型之间的认知能力，并揭示现有基准测试的不足。
如何定义推理能力？
推理能力被定义为一种统一准则，用于识别系统中每个组件的限制并整合约束。
大型语言模型的认知缺陷如何被揭示？
通过新评估范式，能够揭示当前基准测试未能发现的语言模型的潜在认知缺陷。
推理能力的提升对人工通用智能的讨论有什么贡献？
推理能力的提升为关于人工通用智能的讨论提供了更准确的评估方法，促进了对LLMs认知能力的理解。
