GitHub热门开源项目Colibrì是一个纯C实现的分层推理框架，通过将MoE模型不常用的专家权重存放在SSD、常用部分缓存在RAM/VRAM，使低配设备也能运行超大模型。它支持GLM-5.2、Kimi K3等9个模型，最低16GB内存即可运行744B模型，无需GPU，并采用LRU缓存与专家预测提升速度。

Sapient Intelligence的分层推理模型（HRM）通过2700万个参数和1000个训练样本，能够解决复杂的数独和迷宫问题。HRM采用潜在空间推理，模仿人脑的层次处理，利用高层和低层变换器模块的交互。模型动态决定思考时间，并通过Q值机制判断何时停止。尽管存在局限性批评，HRM展示了小模型进行复杂推理的潜力。

文章介绍了一种分层推理技术，可在仅4GB显存的单GPU上运行70B大模型：按需从磁盘逐层加载Transformer层（每层约1.6GB），用完即释放；结合Flash Attention降低注意力内存、按层分片模型文件并用safetensors内存映射加速读取、借助HuggingFace元设备实现零内存加载。作者开源了AirLLM库，几行代码即可实现，已在16GB T4上验证显存占用不足4GB，但速度较慢，适合离线文档分析。