量子位
·
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
Sakana AI发布的Sudoku-Bench测试显示，AI模型在数独问题上的整体正确率仅为15%，而9×9难度的o3 Mini High模型正确率仅为2.9%。该测试旨在评估AI的创造性推理能力，传统数独对模型而言过于简单，无法有效应对新规则的“变异数独”挑战。
🎯
关键要点
- Sakana AI发布的Sudoku-Bench测试显示，AI模型在数独问题上的整体正确率仅为15%。
- 9×9难度的o3 Mini High模型正确率仅为2.9%。
- Sudoku-Bench旨在评估AI的创造性推理能力，包含从简单到复杂的数独问题。
- 大模型存在“记忆依赖症”，无法有效应对新规则的数独挑战。
- 变异数独需要多步骤和创造性的推理技巧，成为测试AI推理能力的理想选择。
- 测试结果显示，所有模型在100个谜题中的总体正确率低于15%。
- 小网格（4×4）表现稍好，但9×9网格几乎全败，正确率接近0%。
- Sakana AI由前谷歌研究人员Llion Jones和David Ha于2023年成立，专注于生成文本和图像的AI模型研究。
- 该公司还发布了名为“连续思维机器 (CTM)”的新型AI模型，具备逐步思考和解决复杂问题的能力。
❓
延伸问答
AI模型在数独问题上的整体正确率是多少？
AI模型在数独问题上的整体正确率为15%。
o3 Mini High模型在9×9数独中的正确率是多少？
o3 Mini High模型在9×9数独中的正确率仅为2.9%。
Sudoku-Bench测试的目的是什么？
Sudoku-Bench测试旨在评估AI的创造性推理能力。
为什么传统数独对大模型来说可能太简单？
传统数独对大模型来说可能太简单，因为它们往往通过记忆标准答案完成任务，而不是运用逻辑推理能力。
变异数独的特点是什么？
变异数独需要多步骤和创造性的推理技巧，且只有一个正确答案，无法通过记忆解决。
Sakana AI是由谁创立的？
Sakana AI由前谷歌研究人员Llion Jones和David Ha于2023年成立。
🏷️
标签
➡️
