新加坡Sapient Intelligence公司提出的分层推理模型(HRM)仅用2700万参数和1000个样本,在复杂推理任务中超越大型模型,表明更优的架构设计能显著提升AI性能,改变AI发展方向。
Sapient Intelligence的分层推理模型(HRM)通过2700万个参数和1000个训练样本,能够解决复杂的数独和迷宫问题。HRM采用潜在空间推理,模仿人脑的层次处理,利用高层和低层变换器模块的交互。模型动态决定思考时间,并通过Q值机制判断何时停止。尽管存在局限性批评,HRM展示了小模型进行复杂推理的潜力。
王冠开发的27M小模型HRM采用仿脑设计,克服了Transformer的局限性。通过分层循环模块和近似梯度技术,HRM实现了高效推理,准确率超过大型模型。尽管参数较少,HRM在特定任务中表现优异,展现出新架构的潜力。
完成下面两步后,将自动完成登录并继续当前操作。