激发创造力：将语言模型打造成层次化策略，提升解决复杂问题的探索效率 [译]

📝

内容提要

本文提出将大语言模型构建为层次化策略以提升复杂数学问题求解的探索效率：高层“领导者”生成多种解题策略与提示，低层“执行者”据此探索多条推理链，再通过基于锦标赛的方法选出最终答案。实验表明，该方法能增强策略多样性、提高正确答案可见性，并在MATH数据集难题上提升准确率。

🔎

延伸解读

分层策略如何提升探索效率

文章将大语言模型分为高层“领导者”和低层“执行者”，领导者生成多种解题策略，执行者据此探索多条推理链。这种设计模仿人类元认知，先规划再执行，避免过早陷入细节。实验显示，在MATH数据集难题上，该方法比传统链式思考采样更能发现正确答案，尤其当正确答案在大量样本中不显眼时，分组多数召回指标能有效识别。

锦标赛选择法的实用价值

面对多条推理链，文章提出基于锦标赛的选择方法：每组先内部投票选出多数答案，再随机选一条代表链，通过GPT-4两两比较选出最优。这种方法只需少量模型调用（如4组16链仅需12次GPT-4调用），就能高效筛选答案。实验表明，即使使用GPT-3.5作为执行者，结合锦标赛选择也能提升最终准确率，为实际应用提供了成本可控的方案。

模型能力依赖与提示遵循问题

文章指出，高层提示的质量虽高（94.3%与标准提示匹配），但低层执行者可能不遵循提示，导致推理错误。较弱模型如GPT-3.5更易忽略提示，而GPT-4虽能更好利用提示，仍可能因推理步骤错误而失败。这表明方法效果受执行者能力制约，且提示的遵循稳定性是局限之一。读者需注意，高层策略并非万能，需搭配强执行模型并关注其遵循情况。

实验规模与成本权衡

由于GPT-4调用成本高，主要实验仅使用140道MATH Level-5题目（费用约150美元），后续用GPT-3.5在1047题上验证趋势一致。这种规模限制可能影响结论的普适性，但作者通过分组多数召回和准确率指标展示了方法有效性。读者应意识到，该方法在更大规模或更低成本场景下的表现仍需进一步验证，实际部署时需权衡模型选择与预算。

❓

Q&A

如何将大语言模型构建成层次化策略来提升复杂数学问题的求解效率？

通过上下文学习将LLM构建为包含高层“领导者”和低层“执行者”的层次化策略。领导者生成多种高层解题策略和提示，执行者根据这些提示探索多条推理链，最后通过基于锦标赛的方法选出最终答案。

层次化策略中的“领导者”和“执行者”各自负责什么？

领导者负责将目标问题与LLM的知识及经验联系起来，提出多种高层解题策略和探索方向；执行者则根据这些高层指令，一步步执行详细的解题过程，探索多条推理路径。

基于锦标赛的推理链选择方法是如何工作的？

首先在每组推理链内进行多数投票，选出该组的多数答案，并从每组中随机选一条达到多数答案的推理链组成选择集。然后以选择集中的第一条为初始“最终推理链”，通过多轮比较（使用GPT-4）与其他推理链对比，保留更优者，最终选出最佳推理链。

这种方法在MATH数据集上的效果如何？

实验表明，该方法能增强策略多样性，提高正确答案的可见性（通过分组-多数召回指标衡量），并在MATH Level-5难题上提升答案准确率。例如，使用GPT-4作为执行者时，提示策略和检索方法分别达到54.46%和51.36%的准确率，高于基线50.78%。

为什么需要高层策略？现有方法有什么不足？

现有方法过于侧重低层推理步骤的探索，忽略了人类解决问题时使用的高层策略和元认知过程。这导致探索效率低，正确答案在庞大可能性中难以凸显。高层策略能提供有意义的提示，引导更有效的探索。

这种方法有哪些局限性？

局限性包括：高层提示可能不相关；低层执行者可能不遵循提示或忽略提示，导致推理错误；较弱模型（如GPT-3.5）更易出现此问题；方法对执行者模型能力有依赖。

🏷️

标签

MATH数据集 大语言模型 层次化策略 数学问题求解 语言模型 锦标赛选择