量子位
·
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
CompressARC研究表明，未经过预训练的76K参数模型在ARC-AGI-1基准上解决了20%的问题，挑战了智能依赖大规模预训练的假设。该方法仅利用谜题本身，实现了对ARC-AGI谜题的泛化求解。
🎯
关键要点
- CompressARC研究表明，未经过预训练的76K参数模型在ARC-AGI-1基准上解决了20%的问题。
- 该方法仅利用谜题本身，实现了对ARC-AGI谜题的泛化求解。
- CompressARC采用最小描述长度（MDL）理论，寻找用最短程序表达谜题的方法。
- 研究未使用ARC-AGI的训练集，且仅在单个样本上运行。
- CompressARC获得ARC Prize 2025的第三名，使用了一张GPU完成研究。
- 模型通过最小化目标谜题的描述长度来解决问题，而非学习泛化规则。
- CompressARC的架构设计包括等变性处理、多张量数据结构和无参数的自定义操作。
- 实验显示，CompressARC在推理时解决了20%的评估集谜题和34.75%的训练集谜题。
- 研究挑战了智能必须依赖大规模预训练的假设，展示了MDL和压缩原理的潜力。
- ARC-AGI-1基准测试旨在评估AI处理新颖问题的能力，是衡量通用人工智能的核心标尺。
➡️
