代码提示引发了文本 + 代码模型的条件推理能力
原文中文,约500字,阅读约需2分钟。发表于: 。通过将自然语言问题转化为代码并用生成的代码提示进行训练,作者发现代码提示在需要条件推理的多个数据集上提高了 2.6 到 7.7 个 GPT 3.5 的绩效,并且观察到代码提示需要包含自然语言文本和高质量代码,以及其触发更优的变量或关键实例的状态跟踪。
最近的大型语言模型 (LLMs) 的进展使得思维链 (CoT) 提醒的紧急能力增加。为了设计 LLM 提示,有一个重要的设置,称为演示选择。我们介绍了一种新方法,称为推理技能发现 (RSD),它使用无监督学习创建合理性的潜在空间表示,同时学习一个推理策略来确定给定问题所需的推理技能。RSD 在多个推理任务中的答案准确性方面优于现有方法多达 6%。