Yi's blog
·
HRM解析：一个2700万参数的模型，无需链式思维进行推理
💡
原文英文，约2500词，阅读约需10分钟。
📝
内容提要
Sapient Intelligence的分层推理模型（HRM）通过2700万个参数和1000个训练样本，能够解决复杂的数独和迷宫问题。HRM采用潜在空间推理，模仿人脑的层次处理，利用高层和低层变换器模块的交互。模型动态决定思考时间，并通过Q值机制判断何时停止。尽管存在局限性批评，HRM展示了小模型进行复杂推理的潜力。
🎯
关键要点
- Sapient Intelligence的分层推理模型（HRM）通过2700万个参数和1000个训练样本解决复杂的数独和迷宫问题。
- HRM采用潜在空间推理，模仿人脑的层次处理，利用高层和低层变换器模块的交互。
- HRM具有两个变换器模块：高层模块负责慢速抽象推理，低层模块负责快速详细计算。
- 模型动态决定思考时间，通过自适应计算时间（ACT）机制判断何时停止。
- z_H和z_L是模型的隐藏状态张量，表示模型在每个层次的“思考”。
- 数独和ARC等不同类型的难题需要不同的嵌入方式，数独使用统一算法，ARC则需要特定的规则。
- Q学习机制用于决定模型何时停止思考，通过比较q_halt和q_continue的值。
- HRM的局限性在于无法进行分支和回溯，适用于约束传播和路径寻找，但不适合多步对抗树搜索。
- 后续分析表明，HRM的层次结构并不是关键，迭代细化是性能提升的主要驱动因素。
- 尽管存在批评，HRM展示了小模型进行复杂推理的潜力，值得关注未来的研究方向。
➡️
