大型语言模型中简明的思维链对问题解决的益处
内容提要
该文综述思维链（CoT）提示研究：正确的操作与数值是GPT-3准确作答的关键，错误步骤会损害性能；CoT在ChatGPT上对部分任务失效，反映指令过拟合风险。Auto-CoT通过采样多样问题自动构建推理链，在十项基准上媲美或超越人工演示。研究还提出CodeCoT提升代码生成、Verify-and-Edit借助外部知识修正推理链，并发现CoT成功并非依赖模式，而在于提取知识并锁定正确答案。
延伸解读
CoT提示的脆弱性：正确步骤与数值是关键
文章指出，CoT提示中正确的操作和数值是GPT-3准确作答的关键，而错误操作会损害性能。这意味着CoT并非万能，其效果高度依赖推理链的准确性。读者需注意，模型可能因中间步骤的细微错误而得出错误结论，实际应用中应关注推理过程的正确性，而非仅看最终答案。
指令过拟合风险：ChatGPT上CoT可能失效
研究发现，在ChatGPT上CoT对某些任务不再有效，这反映了指令过度拟合或偏见的潜在风险。随着大模型训练中此类问题更普遍，读者应意识到CoT提示并非在所有模型或任务上都能稳定生效，需针对具体模型和任务进行验证，避免盲目套用。
Auto-CoT：自动构建推理链的可行替代
Auto-CoT通过采样多样性问题并生成推理链来自动构建演示，在十项公共基准推理任务中匹配或超越人工设计演示的CoT。这为减少人工设计成本提供了思路，但文章未说明其在不同领域或模型上的泛化能力，读者在采用时仍需评估其适用性。
CoT成功机制：提取知识而非依赖模式
通过反事实提示实验，研究证实CoT的成功并非由模式的存在驱动，而是帮助模型从问题中提取通识知识并锁定正确答案。这提示读者，CoT的价值在于引导模型调用已有知识，而非简单模仿示例格式，因此设计提示时应注重知识提取的引导。
Q&A
为什么思维链提示中正确的操作和数值对GPT-3的准确率很重要？
研究发现，正确的操作和数值是GPT-3在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响。
Auto-CoT是如何自动构建推理链的？效果如何？
Auto-CoT通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中不断匹配或超越需要手动设计演示的CoT范例的性能。
CodeCoT是什么？它如何提升代码生成准确性？
CodeCoT是一种新策略，通过辅助LLM模型生成代码和改进输出，采用自我审查和连续推导的方法，显著提高了代码生成的准确性。
Verify-and-Edit框架如何改进思维链的准确性？
Verify-and-Edit框架通过使用外部知识来编辑推理链以提高其准确性，改善了大语言模型中存在的缺陷，在多个开放型问题回答任务中实现了准确度提升。
思维链在ChatGPT上为什么对某些任务失效？
在ChatGPT上，思维链提示对某些任务不再有效，这反映了指令过度拟合/偏见的潜在风险，这种情况在训练LLMs时变得更为普遍。
思维链的成功是否依赖于模式的存在？
不是。通过反事实提示实验和多个模型证实，CoT的成功不是由模式的存在而来，而是其中一个目的是在输出中找到正确的单词以形成正确答案。文本有助于从问题中提取通识知识和含义，模式则强化任务理解和直接文本生成。
