思维链串联变压器解决本质上串行的问题
内容提要
研究表明，思维链提示能显著提升大语言模型在数学与推理任务中的表现。多项工作从理论机制、上下文学习、解码过程等角度证明，CoT可降低样本复杂度、增强计算能力，并催生CoTFormer、Faithful CoT、CodeCoT、RoT等框架，在推理、代码生成等任务上优于基准。
延伸解读
理论机制：CoT 为何有效
文章从理论层面探讨了思维链（CoT）提升大语言模型性能的潜在机制。研究表明，CoT 通过生成中间令牌序列，显著扩展了 transformer 解码器的计算能力，使其能够识别正则语言、保持上下文敏感语言，并解决多项式时间可解问题。此外，CoT 还能降低上下文学习的样本复杂度，便于学习更复杂的组合函数。这些理论解释为 CoT 的实际应用提供了坚实基础。
框架演进：从 CoT 到多样化变体
文章梳理了多个基于 CoT 的框架，包括 CoTFormer、Faithful CoT、CodeCoT 和 RoT。CoTFormer 通过隐式 CoT 机制实现与更深模型相当的能力；Faithful CoT 将推理分解为翻译和问题求解两阶段，提升准确性与真实性；CodeCoT 利用辅助 LLM 生成代码，提高代码生成准确性；RoT 则通过特殊标记将问题分成多个上下文，处理超长标记问题。这些变体展示了 CoT 在不同任务上的适应性与扩展性。
实践警示：模型规模与推理可信度
文章指出，随着模型规模增大，模型对大多数任务的推理越来越不可信，CoT 推理对答案预测的条件影响在某些任务中较大。因此，建议在选择模型规模和任务时谨慎使用 CoT 推理。这一发现提醒研究者和开发者，CoT 并非万能，需结合具体场景评估其适用性，避免盲目依赖中间推理步骤。
Q&A
Chain-of-Thought 提示为什么能提升大语言模型在数学和推理任务上的表现？
研究表明，CoT 提示通过让模型在回答问题前生成中间令牌序列，显著扩展了解码器的计算能力，从而能够识别正则语言、保持上下文敏感语言并解决多项式时间可解问题。此外，CoT 将组合函数的上下文学习分解为两个阶段，降低了样本复杂度，便于学习更复杂的函数。
CoTFormer 是什么？它有什么优势？
CoTFormer 是一种利用 Chain-of-Thought 和 CoT 方法的 transformer 模型，通过隐式 CoT 机制实现了与更深层次模型相当的能力。实证研究表明，其在下游任务上的效果明显优于更大的标准 transformers。
Faithful CoT 框架是如何工作的？它在哪些任务上表现优越？
Faithful CoT 框架将推理任务分解为翻译和问题求解两个阶段，分别使用语言模型和确定性求解器实现，以实现准确性和真实性的协同。在 10 个推理数据集上进行比较，展示了其优越性。
CodeCoT 是什么？它如何提高代码生成的准确性？
CodeCoT（Code Chain-of-Thought）是一种新策略，通过自我审查和连续推导的方法，利用辅助 LLM 模型生成代码并改进输出，从而显著提高了代码生成的准确性。
RoT 推理框架有什么特点？它能解决什么样的问题？
RoT 是一种推理框架，通过引入多个特殊标记来激活模型输出，将问题分成多个上下文，从而极大地改善了语言模型的推理能力，能够解决由数十万个标记组成的问题。
Chain-of-Thought 推理在所有任务和模型规模下都可靠吗？
研究发现，Chain-of-Thought 推理在某些任务中对答案预测的条件具有较大影响，但随着模型规模的增大，模型对大多数任务的推理越来越不可信。因此，建议在选择模型规模和任务时谨慎使用 Chain-of-Thought 推理。
