GitHub热门开源项目Colibrì是一个纯C实现的分层推理框架，通过将MoE模型不常用的专家权重存放在SSD、常用部分缓存在RAM/VRAM，使低配设备也能运行超大模型。它支持GLM-5.2、Kimi K3等9个模型，最低16GB内存即可运行744B模型，无需GPU，并采用LRU缓存与专家预测提升速度。

Sapient Intelligence的分层推理模型（HRM）通过2700万个参数和1000个训练样本，能够解决复杂的数独和迷宫问题。HRM采用潜在空间推理，模仿人脑的层次处理，利用高层和低层变换器模块的交互。模型动态决定思考时间，并通过Q值机制判断何时停止。尽管存在局限性批评，HRM展示了小模型进行复杂推理的潜力。