LLM仍然不能规划，刷屏的OpenAI o1远未达到饱和
原文中文，约2600字，阅读约需6分钟。
📝
内容提要
实验显示，大型语言模型（LLM）的规划能力有待提高。OpenAI 的 o1 模型推理能力强，但在 PlanBench 测试中规划能力不足。在 Blocksworld 和 Mystery Blocksworld 测试中，复杂问题准确率下降。o1 模型在某些实例表现好，但识别无法解决的实例能力有限。推理 token 数量限制可能影响其准确性和成本。
❓
Q&A
OpenAI的o1模型在规划能力上表现如何？
o1模型在PlanBench测试中表现不足，尤其在复杂问题上准确率下降。
o1模型在Blocksworld测试中的表现如何？
o1模型在Blocksworld测试中正确回答了97.8%的实例，但在更复杂的测试中表现不佳。
LLM的推理能力受什么限制？
推理token数量限制可能影响o1模型的准确性和推理成本。
o1模型如何增强其规划能力？
o1模型通过结合强化学习训练和自适应推理程序来增强规划能力。
PlanBench基准测试的目的是什么？
PlanBench基准测试用于评估大型语言模型在规划能力上的表现。
o1模型在识别不可解决实例方面的表现如何？
o1模型在识别不可解决实例方面表现不理想，仅27%的实例被正确识别。
🏷️
