LLM仍然不能规划，刷屏的OpenAI o1远未达到饱和
💡
原文中文，约2600字，阅读约需6分钟。
📝
内容提要
实验显示，大型语言模型（LLM）的规划能力有待提高。OpenAI 的 o1 模型推理能力强，但在 PlanBench 测试中规划能力不足。在 Blocksworld 和 Mystery Blocksworld 测试中，复杂问题准确率下降。o1 模型在某些实例表现好，但识别无法解决的实例能力有限。推理 token 数量限制可能影响其准确性和成本。
🎯
关键要点
- 大型语言模型（LLM）的规划能力仍需提高。
- OpenAI 的 o1 模型在推理能力上表现强劲，但在 PlanBench 测试中规划能力不足。
- o1 模型在 Blocksworld 和 Mystery Blocksworld 测试中的复杂问题准确率下降。
- o1 模型在某些实例表现良好，但识别无法解决的实例能力有限。
- 推理 token 数量限制可能影响 o1 模型的准确性和成本。
- PlanBench 基准测试显示，当前 LLM 在规划能力上仍然面临挑战。
- o1 模型通过结合 RL 训练和自适应推理程序来增强规划能力。
- o1 在 Blocksworld 测试中正确回答了 97.8% 的实例，但在更复杂的测试中表现不佳。
- o1 模型在识别不可解决实例方面的表现不理想，准确率较低。
- o1-preview 的推理 token 数量限制可能影响其整体准确性和推理成本。
➡️
