思维的幻觉：通过问题复杂性视角理解推理模型的优势与局限性
💡
原文英文，约300词，阅读约需2分钟。
📝
内容提要
近期的前沿语言模型引入了大型推理模型（LRMs），这些模型在回答前生成详细的思考过程。尽管在推理基准上有所提升，但其基本能力和局限性仍不明确。现有评估主要关注最终答案的准确性，忽视了推理过程的结构和质量。通过可控的难题环境研究发现，当复杂性超出一定范围时，LRMs的准确性会完全崩溃，且在高复杂性任务中表现不佳。
🎯
关键要点
- 前沿语言模型引入了大型推理模型（LRMs），在回答前生成详细的思考过程。
- LRMs在推理基准上表现有所提升，但其基本能力和局限性仍不明确。
- 现有评估主要关注最终答案的准确性，忽视推理过程的结构和质量。
- 通过可控的难题环境研究发现，LRMs在复杂性超出一定范围时准确性会崩溃。
- LRMs在高复杂性任务中表现不佳，且推理努力在问题复杂性增加到一定程度后下降。
- 比较LRMs与标准LLM模型发现三种性能模式：低复杂性任务中标准模型表现更好，中等复杂性任务中LRMs有优势，高复杂性任务中两者均崩溃。
- LRMs在精确计算方面存在局限，未能使用明确算法且在不同难题中推理不一致。
- 深入研究推理痕迹，分析模型的计算行为，揭示其优缺点，并提出关于其真实推理能力的重要问题。
➡️
