机器之心 ·

树搜索也存在「过思考」与「欠思考」？腾讯AI Lab与厦大联合提出高效树搜索框架

💡 原文中文，约2800字，阅读约需7分钟。

📝

内容提要

研究团队提出了高效的树搜索框架Fetch，旨在解决大语言模型推理中的「过思考」和「欠思考」问题。通过合并冗余节点和抑制验证方差，Fetch显著提升了计算效率和准确率，尤其在复杂推理任务中表现出色。

🎯

研究团队提出高效树搜索框架Fetch，解决大语言模型推理中的「过思考」和「欠思考」问题。
Fetch通过合并冗余节点和抑制验证方差，显著提升计算效率和准确率。
研究由腾讯AI Lab与厦门大学、苏州大学合作完成，论文题目为《Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls》。
传统树搜索算法如集束搜索和蒙特卡洛树搜索存在高昂计算开销和动态资源分配困难的问题。
研究揭示了推理过程中存在的「过思考」和「欠思考」困境，前者由冗余节点引起，后者由验证器不稳定性引起。
Fetch框架的核心包括冗余节点合并和验证方差抑制两部分。
冗余节点合并通过层次聚类算法实现，避免冗余节点的重复探索。
验证方差抑制通过训练和推理阶段的双重优化策略降低验证器评分的波动。
实验结果显示Fetch框架在跨数据集与跨算法测试中表现出显著优势，计算开销降低至原有的1/3，准确率提升1~3个点。
Fetch为提升大语言模型推理效能提供了新的方法论支持。

🔎

传统树搜索算法如集束搜索和蒙特卡洛树搜索在推理过程中面临高昂的计算开销和动态资源分配困难。研究揭示了「过思考」和「欠思考」的双重困境，前者由冗余节点引起，后者则源于验证器的不稳定性。这些问题导致了计算资源的浪费，影响了推理效率。

Fetch框架通过冗余节点合并和验证方差抑制两大核心机制，显著提升了树搜索的效率。冗余节点合并利用层次聚类算法，避免了重复探索相似路径，而验证方差抑制则通过双重优化策略降低了评分波动。这些创新为大语言模型的推理提供了新的解决方案。

实验结果显示，Fetch框架在多个数据集和算法测试中表现优异，计算开销降低至原有的1/3，准确率提升1~3个点。这表明Fetch不仅在理论上具有优势，其实际应用中也能有效提升大语言模型的推理性能，具有广泛的应用前景。

❓

Fetch框架旨在解决大语言模型推理中的「过思考」和「欠思考」问题。

Fetch通过合并冗余节点和抑制验证方差来显著提升计算效率和准确率。

传统树搜索算法如集束搜索和蒙特卡洛树搜索存在高昂计算开销和动态资源分配困难的问题。

「过思考」由冗余节点引起，而「欠思考」则由验证器不稳定性引起。

实验结果显示Fetch框架在跨数据集与跨算法测试中表现出显著优势，计算开销降低至原有的1/3，准确率提升1~3个点。

冗余节点合并通过层次聚类算法实现，避免冗余节点的重复探索。

🏷️