语言模型作为编译器:模拟伪代码执行提升语言模型的算法推理能力

原文约400字,阅读约需1分钟。发表于:

该论文介绍了一种名为 Think-and-Execute 的新框架,它将语言模型的推理过程分解为两步:首先在思考阶段,发现共享于给定任务所有实例的任务级逻辑,然后用伪代码表达逻辑;然后在执行阶段,进一步针对每个实例调整生成的伪代码并模拟代码的执行。通过对七个算法推理任务进行大量实验证明了 Think-and-Execute 的有效性。相较于执行特定实例推理的强基线(例如 CoT 和 PoT),我们的方法更好地提高了语言模型的推理能力,这表明发现任务级逻辑的帮助性。此外,我们还展示了相对于自然语言,伪代码可以更好地引导语言模型的推理,即使它们经过自然语言指导的训练。

该论文介绍了一种名为Think-and-Execute的新框架,将语言模型的推理过程分解为思考和执行两个阶段。实验证明该框架提高了语言模型的推理能力,同时展示了伪代码对语言模型推理的引导作用。

相关推荐 去reddit讨论