语言模型代理的树搜索
内容提要
大型语言模型在推理任务中表现优异，但在复杂决策上仍存在不足。研究提出了一种自主树搜索能力，显著提高了推理准确性并降低成本。通过新基准测试SearchBench，发现现有模型在逻辑问题上表现不佳。结合A*算法和多阶段方法，提升了模型性能。实验表明，基于状态空间的交互式任务建模方法在网页导航中表现出色，缩小了与人类的差距。
延伸解读
树搜索如何提升LLM推理能力
文章指出，大型语言模型在需要探索和序贯决策的任务上存在不足。通过引入自主树搜索能力，模型能自动生成包含正确答案的搜索轨迹，从而显著提高推理准确性。例如，ATS-BFS方法在益智游戏上准确率提升33%，同时GPT API成本降低65.6%或47.7%。这表明树搜索能帮助LLM更有效地探索解决方案空间，减少盲目尝试。
SearchBench揭示的逻辑推理短板
新基准SearchBench包含11种搜索问题类型，要求考虑多条解决路径和回溯。测试发现，即使最先进的GPT-4也只能以文本方式解决1.4%的问题，生成代码后仅提升至11.7%。这暴露了自回归模型在复杂逻辑问题上的根本性挑战。而结合A*算法与多阶段多尝试方法后，GPT-4表现提升至57%以上，说明外部搜索算法能有效弥补LLM的不足。
网页导航中的状态空间建模
在网页导航等交互决策任务中，基于状态空间探索的建模方法通过动作与状态转换完成任务，并支持灵活回溯。LASER代理在WebArena基准上明显优于以往方法，缩小了与人类表现的差距。此外，通过自我改进和合成训练数据，任务完成率提升了31%。这表明将任务建模为状态空间搜索，能增强LLM代理在长期任务中的规划和适应能力。
树搜索的实际成本与收益权衡
尽管树搜索能提升性能，但文章也指出其实际应用中的限制。一项研究发现，树搜索速度比迭代修正等方法慢10-20倍，而性能收益却微不足道。此外，先进规划方法要求鉴别器准确率至少达到90%才能显著改进，而当前LLM的鉴别能力尚未满足。因此，在实际应用中需权衡计算成本与性能提升，避免盲目采用树搜索。
Q&A
大型语言模型在复杂决策任务中存在哪些不足？
大型语言模型在需要探索、战略前瞻和序贯决策的任务上存在不足。
自主树搜索能力如何提高推理准确性？
自主树搜索能力通过自动生成包含正确答案的搜索轨迹来提高推理准确性。
SearchBench基准测试的目的是什么？
SearchBench基准测试用于分析大型语言模型在逻辑问题上的可行性、正确性和最优性。
结合A*算法和多阶段方法对模型性能的影响是什么？
结合A*算法和多阶段方法显著提升了模型性能，使其在逻辑问题上的表现更好。
基于状态空间的交互式任务建模方法有什么优势？
该方法通过动作与状态转换实现灵活的回溯，提高了网页导航任务的性能。
大型语言模型在网页导航任务中的应用效果如何？
大型语言模型在网页导航任务中成功应用，成功率提升了50%以上。
