量子位
·
o3挑战ARC-AGI，遇见大网格就懵圈？英国工程师：ARC-AGI不适合大模型
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
o3在ARC-AGI挑战中的表现不佳，主要是因为题目规模过大。英国工程师米哥指出，网格越大，大模型的推理能力越差，尤其在1024个像素时表现明显下降。这表明ARC挑战未能准确反映大模型的真实能力，且大模型的信息处理方式与人类存在差异。
🎯
关键要点
- o3在ARC-AGI挑战中的表现不佳，主要是因为题目规模过大。
- 英国工程师米哥发现，网格规模越大，大模型的表现越差，尤其在1024个像素时表现明显下降。
- ARC挑战未能准确反映大模型的真实能力，许多模型被低估，o3则被高估。
- 大模型在处理问题时与人类的思考方式存在差异，尤其在面对大规模网格时。
- 人类能够更好地理解视觉信息和位置关系，而大模型处理信息时是以一维格式进行的。
- 观察问题的维度影响了大模型的成绩，ARC任务并不适合大模型。
- ARC-AGI的下一代ARC-AGI-2即将推出，可能对o3构成重大挑战。
❓
延伸问答
o3在ARC-AGI挑战中的表现如何？
o3在ARC-AGI挑战中的表现不佳，主要是因为题目规模过大。
为什么大模型在处理大规模网格时表现较差？
大模型在处理大规模网格时表现较差是因为它们以一维格式处理信息，无法有效理解二维空间中的位置关系。
ARC挑战是否准确反映了大模型的能力？
ARC挑战未能准确反映大模型的真实能力，许多模型被低估，而o3则被高估。
人类与大模型在解决ARC问题时有什么不同？
人类在解决ARC问题时能够更好地理解视觉信息和位置关系，而大模型则依赖于一维的token处理方式。
ARC-AGI-2将对o3产生什么影响？
ARC-AGI-2的早期测试表明，它将对o3构成重大挑战，o3的得分可能会降低到30%以下。
米哥的研究发现了什么重要的现象？
米哥发现网格规模越大，大模型的表现越差，尤其在达到1024个像素时表现明显下降。
➡️
