量子位
·
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
CompressARC研究表明，未经过预训练的76K参数模型在ARC-AGI-1基准上解决了20%的问题，挑战了智能依赖大规模预训练的假设。该方法仅利用谜题本身，实现了对ARC-AGI谜题的泛化求解。
🎯
关键要点
- CompressARC研究表明，未经过预训练的76K参数模型在ARC-AGI-1基准上解决了20%的问题。
- 该方法仅利用谜题本身，实现了对ARC-AGI谜题的泛化求解。
- CompressARC采用最小描述长度（MDL）理论，寻找用最短程序表达谜题的方法。
- 研究未使用ARC-AGI的训练集，且仅在单个样本上运行。
- CompressARC获得ARC Prize 2025的第三名，使用了一张GPU完成研究。
- 模型通过最小化目标谜题的描述长度来解决问题，而非学习泛化规则。
- CompressARC的架构设计包括等变性处理、多张量数据结构和无参数的自定义操作。
- 实验显示，CompressARC在推理时解决了20%的评估集谜题和34.75%的训练集谜题。
- 研究挑战了智能必须依赖大规模预训练的假设，展示了MDL和压缩原理的潜力。
- ARC-AGI-1基准测试旨在评估AI处理新颖问题的能力，是衡量通用人工智能的核心标尺。
❓
延伸问答
CompressARC模型是如何在ARC-AGI-1基准上取得成功的？
CompressARC通过最小化目标谜题的描述长度，利用76K参数的未预训练模型解决了20%的问题。
最小描述长度（MDL）理论在CompressARC中的应用是什么？
MDL理论用于寻找用最短程序表达谜题的方法，从而揭示其最深层的规律。
CompressARC与传统神经网络的学习方式有何不同？
CompressARC不学习泛化规则，而是直接寻找特定谜题的最短程序表达。
CompressARC在ARC-AGI-1基准测试中的表现如何？
CompressARC在评估集上解决了20%的谜题，在训练集上解决了34.75%的谜题。
CompressARC获得了什么奖项？
CompressARC获得了ARC Prize 2025的第三名。
CompressARC的架构设计有哪些关键特点？
CompressARC的架构包括等变性处理、多张量数据结构和无参数的自定义操作。
➡️
