没想到！AlphaZero式树搜索也能用来增强大语言模型推理与训练
内容提要
TSLLM是一种结合了AlphaZero方法和大语言模型的树搜索训练增强框架，通过学习价值函数提供可靠的搜索中间价值评估。实验证明TSLLM在数学推理、逻辑推理和决策推理等任务上表现良好。文章还讨论了树搜索算法的适应性和扩展性，并验证了迭代优化可以进一步提升大语言模型的能力。
延伸解读
学习价值函数：提升中间评估的可靠性
TSLLM的核心创新之一是使用学习得到的价值函数来评估搜索中间状态，而非依赖大语言模型的自我评估。实验表明，这种基于学习的价值函数在GSM8K和Game24任务上均优于ChatGPT的自我评估，即使评估ChatGPT自身策略的中间状态时也表现更好。这解决了传统方法中评估不可靠的问题，为树搜索提供了更鲁棒的指导。
树搜索算法选择：任务依赖性与适应性
不同树搜索算法在不同任务上表现各异。MCTS-α和MCTS-Rollout在长程推理任务（如Alignment、Endgame）上显著优于其他算法，而BFS/DFS在轻量级或搜索深度较低的问题上表现良好。因此，实际应用中需根据任务特点选择合适的搜索算法，而非盲目追求复杂方法。
扩展性局限：简单基线可能更优
尽管树搜索算法通常随搜索次数增加而提升性能，但其扩展性受限。实验发现，简单基线如COT-SC+ORM在GSM8K上甚至能超越树搜索算法，且具有更好的扩展性。这提示研究者和实践者：在计算量相似的情况下，简单方法可能更高效，未来需关注如何提升树搜索的扩展性能。
迭代优化：树搜索作为策略增强算子
TSLLM将树搜索视为策略增强算子，通过迭代优化同时提升语言模型策略和价值函数。实验显示，一轮树搜索迭代优化的策略优于在5倍、10倍采样数据上进行拒绝采样优化的结果。然而，在RLHF数据集上仍不及PPO，因为PPO进行了多次在线迭代。这表明树搜索迭代优化具有潜力，但需进一步探索与在线强化学习方法的结合。
Q&A
TSLLM是什么？
TSLLM是一种结合了AlphaZero方法和大语言模型的树搜索训练增强框架。
TSLLM在什么任务上表现良好？
TSLLM在数学推理、逻辑推理和决策推理等任务上表现良好。
如何提高大语言模型的推理能力？
通过将结构化的树/图搜索与大语言模型结合，可以提高其推理能力。
TSLLM的优势是什么？
TSLLM通过学习价值函数提供可靠的搜索中间价值评估，适用于不同大小的语言模型。
树搜索算法在不同问题上的表现如何？
不同树搜索算法在不同问题上的适应性表现不同，简单基线算法在某些情况下表现更优。
迭代优化对大语言模型有什么影响？
迭代优化可以进一步提升大语言模型的能力，验证了AlphaZero式的高效性。
