搜索思维的自动化：迈向健全性和完整性的旅程
内容提要
本文研究了大型语言模型（LLMs）在常识规划任务中的能力，发现其自主规划能力有限，但在启发式模式下能改善其他智能计划器的搜索过程。研究提出了新的算法推理策略，探索了LLMs在复杂任务中的推理能力，并通过实验验证了其在扫雷等任务中的表现。结果显示，LLMs在多步骤逻辑推理中存在困难，强调了进一步研究的必要性。
延伸解读
LLM规划能力的双重角色
文章指出，LLM在自主规划任务中表现有限，但作为启发式生成器却能改善其他规划器的搜索过程。这意味着当前LLM更适合充当辅助角色，而非独立规划者。读者可关注如何将LLM的启发式输出与传统搜索算法结合，以提升整体规划效率。
算法推理策略的进展与局限
从《Algorithm of Thoughts》到自主树搜索，研究尝试扩展LLM的推理路径。ATS-BFS在准确率提升33%的同时降低了API成本，但LLM在多步骤逻辑推理（如扫雷）中仍难以整合能力。这提示读者：算法优化能缓解部分问题，但根本推理瓶颈尚待突破。
SearchBench揭示的推理短板
SearchBench基准测试显示，即使GPT-4也只能解决1.4%的搜索问题，生成代码后仅提升至11.7%。结合A*算法和多阶段多尝试方法，表现可跃升至57%以上。这表明LLM需要外部搜索框架的引导，纯文本推理远未成熟。
搜索流预训练与微调的价值
使用扁平字符串表示搜索过程（搜索流）预训练Transformer，再通过APA和STaR微调，在Countdown游戏上提升搜索准确性25%，并解决36%的未解决问题。这为LLM学习搜索策略提供了新思路，但需注意其泛化能力仍需验证。
Q&A
大型语言模型在自主规划方面的表现如何？
大型语言模型在自主规划方面表现非常有限，但在启发式模式下能改善其他智能计划器的搜索过程。
《Algorithm of Thoughts》是什么？
《Algorithm of Thoughts》是一种新的算法推理策略，旨在扩展大型语言模型的思路探索。
LLMs在复杂任务中的推理能力存在哪些不足？
LLMs在复杂任务中，尤其是在多步骤逻辑推理方面表现不佳，存在整合能力的困难。
扫雷任务的实验结果如何？
实验表明，LLMs在扫雷任务中具备基本能力，但在连贯的多步骤逻辑推理上存在困难。
SearchBench基准测试的目的是什么？
SearchBench基准测试旨在分析LLMs在解决逻辑问题时的可行性、正确性和最优性。
研究中提出的多阶段多尝试方法有什么效果？
多阶段多尝试方法显著提升了LLMs的表现，尤其是在解决复杂问题时。
