探究推理步骤长度对大语言模型的影响 [译]
内容提要
研究发现，在大型语言模型中增加推理步骤可以显著提升推理能力，减少推理步骤会削弱模型表现。即使推理链中有错误的推理理由，保持足够的步骤长度仍然能提升模型性能。增加推理步骤的益处取决于任务的性质，复杂任务从更长的推理序列中受益更多。这些发现为更有效地利用大语言模型解决复杂问题提供了指导。
延伸解读
推理步骤长度比内容准确性更关键
研究发现，即使思维链中包含错误的推理理由，只要保持足够的步骤长度，模型性能仍能提升。这意味着模型可能更依赖推理步骤的模式而非具体计算过程。对于算术类任务，中间步骤的错误影响较小；但对于逻辑问题，一个错误可能导致整个链条崩溃。因此，在实际应用中，确保推理步骤的充分性比追求每一步的绝对正确更为重要。
任务复杂度决定所需推理步骤
增加推理步骤的益处因任务而异：简单任务需要较少的步骤，而复杂任务从更长的推理序列中受益更多。例如，在多步算术和符号运算等复杂任务上，增加步骤能显著提升准确性；而在简单任务上，过多步骤可能无益甚至引入干扰。这提示我们应根据任务难度动态调整思维链长度，以优化性能。
模型规模影响策略效果
不同规模的模型对增加推理步骤策略的反应不同。实验显示，初始性能较差的text-davinci-002在增加步骤后提升最显著，而性能最好的GPT-4则对该策略最为容忍，没有出现性能下降。这表明该策略对能力较弱的模型帮助更大，而强大模型可能已有足够的内部推理能力，但增加步骤也不会损害其表现。
零样本与少样本均受益于步骤增加
在零样本设置中，通过修改提示为“让我们逐步分析，你必须考虑更多步骤”，能显著提升模型准确性；在少样本设置中，增加演示中的推理步骤同样有效。这表明推理步骤的长度是影响CoT效果的关键因素，且该结论在不同提示方式下具有一致性。未来研究可进一步探索步骤长度与神经网络活动的关系。
Q&A
增加思维链中的推理步骤数量，对大型语言模型的推理能力有什么影响？
增加推理步骤可以显著提升大型语言模型在各种数据集上的推理表现，即使不在提示中加入新信息。相反，减少推理步骤会明显削弱模型的推理能力，即使保留了核心信息。
如果思维链中包含错误的推理理由，但步骤长度足够，模型性能会下降吗？
不会。研究发现，即使推理链中有错误的推理理由，只要保持足够的推理步骤长度，模型性能仍然能得到提升。这表明推理步骤的长度比其内容的准确性更为重要。
对于简单任务和复杂任务，增加推理步骤的效果一样吗？
不一样。增加推理步骤的益处取决于任务的性质：简单任务需要较少的推理步骤，而复杂任务从更长的推理序列中受益更多。
在零样本和少样本实验中，如何通过修改提示来增加推理步骤？
在零样本实验中，将提示从“让我们一步步思考”修改为“让我们一步步思考，你必须思考更多步骤”。在少样本实验中，在CoT示范中增加推理步骤，同时保持其他因素不变。
推理步骤的数量与模型准确性之间存在什么样的关系？
在少样本CoT中，步骤计数与准确性之间存在直接的线性关系。增加推理步骤可以显著提高大语言模型的推理能力，而缩短推理步骤则会降低性能。
不同大小的模型（如GPT-3.5和GPT-4）对增加推理步骤的策略反应有何不同？
初始性能最差的text-davinci-002在策略下提升最显著，而初始性能最好的GPT-4则对策略最为容忍，没有出现性能下降。
