RoT: 基于搜索树的大型语言模型增强
内容提要
本文探讨了通过树搜索框架提升大型语言模型（LLMs）推理能力的方法。提出的BoT和ToT框架显著提高了模型在复杂问题解决中的表现，尤其在数学、益智游戏和数独等任务上。此外，引入的后处理方法RR和概率思维树推理进一步改善了模型在常识推理和复杂问答中的性能。
延伸解读
树搜索如何增强LLM推理
文章借鉴AlphaZero的树搜索框架，通过学习价值函数引导LLM解码，在推理和训练中进行译码指导。这不同于传统链式思维，树搜索允许模型探索多条路径并自我评估，从而提升复杂任务中的规划和对齐能力。
BoT与ToT：自动提示与思维树框架
BoT通过迭代探索和自我评估思维树，自动生成试错推理经验集，在复杂数学问题上达到更高或相当的问题解决率。ToT则增加提示、检查、记忆和控制模块，在24点游戏、创意写作和数独等任务中显著提高成功率。
自主树搜索与效率提升
ATS-BFS方法让LLM自动生成包含正确答案的搜索轨迹，在四个益智游戏中准确率提高33%，同时GPT API成本降低65.6%或47.7%。微调LLaMA后，在LLaMA2-7B和13B上比CoT-tuned版本分别提升40.6%和38.5%。
后处理与不确定性量化
RR方法利用CoT分解步骤检索外部知识，改善常识、时间和表格推理。ProbTree通过外部知识检索增强链式推理，在三个复杂问答数据集上优于现有方法。TouT则用量化中间步骤不确定性的方式，结合全局搜索提高响应精确性。
Q&A
BoT框架如何提升大型语言模型的推理能力？
BoT框架通过自动提示的方式，帮助大型语言模型在解决复杂数学问题时显著提高问题解决率。
Tree of Thoughts (ToT)框架的主要优势是什么？
ToT框架弥补了语言模型在考虑多种推理路径时的局限性，提升了在复杂问题解决中的表现。
概率思维树推理（ProbTree）是如何增强链式推理的？
ProbTree通过外部知识检索和问题分解，增强了链式推理的有效性，显著优于现有方法。
不确定性思维树（TouT）框架的作用是什么？
TouT框架通过量化中间步骤的不确定性，提高了模型响应生成的精确性。
RR后处理方法如何改善常识推理的性能？
RR方法通过检索相关外部知识，改善了大型语言模型在常识推理、时间推理和表格推理等方面的表现。
如何通过树搜索框架提升大型语言模型的解码能力？
通过学习价值函数和树搜索框架，提升大型语言模型在推理和训练中的解码能力。
