LLM仍然不能规划，刷屏的OpenAI o1远未达到饱和
💡
原文中文，约2600字，阅读约需6分钟。
📝
内容提要
实验显示，大型语言模型（LLM）的规划能力有待提高。OpenAI 的 o1 模型推理能力强，但在 PlanBench 测试中规划能力不足。在 Blocksworld 和 Mystery Blocksworld 测试中，复杂问题准确率下降。o1 模型在某些实例表现好，但识别无法解决的实例能力有限。推理 token 数量限制可能影响其准确性和成本。
🎯
关键要点
- 大型语言模型（LLM）的规划能力仍需提高。
- OpenAI 的 o1 模型在推理能力上表现强劲，但在 PlanBench 测试中规划能力不足。
- o1 模型在 Blocksworld 和 Mystery Blocksworld 测试中的复杂问题准确率下降。
- o1 模型在某些实例表现良好，但识别无法解决的实例能力有限。
- 推理 token 数量限制可能影响 o1 模型的准确性和成本。
- PlanBench 基准测试显示，当前 LLM 在规划能力上仍然面临挑战。
- o1 模型通过结合 RL 训练和自适应推理程序来增强规划能力。
- o1 在 Blocksworld 测试中正确回答了 97.8% 的实例，但在更复杂的测试中表现不佳。
- o1 模型在识别不可解决实例方面的表现不理想，准确率较低。
- o1-preview 的推理 token 数量限制可能影响其整体准确性和推理成本。
❓
延伸问答
OpenAI的o1模型在规划能力上表现如何？
o1模型在PlanBench测试中表现不足，尤其在复杂问题上准确率下降。
o1模型在Blocksworld测试中的表现如何？
o1模型在Blocksworld测试中正确回答了97.8%的实例，但在更复杂的测试中表现不佳。
LLM的推理能力受什么限制？
推理token数量限制可能影响o1模型的准确性和推理成本。
o1模型如何增强其规划能力？
o1模型通过结合强化学习训练和自适应推理程序来增强规划能力。
PlanBench基准测试的目的是什么？
PlanBench基准测试用于评估大型语言模型在规划能力上的表现。
o1模型在识别不可解决实例方面的表现如何？
o1模型在识别不可解决实例方面表现不理想，仅27%的实例被正确识别。
➡️
