BriefGPT - AI 论文速递
·
RoT: 基于搜索树的大型语言模型增强
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
最近的研究通过利用外部程序定义搜索逻辑，使 LLMs 能够执行被动树搜索以解决更具挑战性的推理任务。实验表明，这种方法在准确性和成本方面都有显著改进。
🎯
关键要点
- 大型语言模型在高级提示技术方面具有出色的推理能力，但在探索和决策任务上存在不足。
- 最近的研究利用外部程序定义搜索逻辑，使 LLMs 能够执行被动树搜索。
- 提出了一种名为 LLM 的自主树搜索能力的新概念，可以自动生成包含正确答案的搜索轨迹的响应。
- 在4个益智游戏上的实验表明，该方法在准确性上提高了33%。
- 与先前的方法相比，GPT API 成本降低了65.6%或47.7%。
- 使用ATS提示方法收集数据并对LLaMA进行微调，LLaMA2-7B和LLaMA2-13B相对于CoT-tuned LLaMAs分别提高了40.6%和38.5%。
🏷️
标签
➡️
