GitHub热门开源项目Colibrì是一个纯C实现的分层推理框架,通过将MoE模型不常用的专家权重存放在SSD、常用部分缓存在RAM/VRAM,使低配设备也能运行超大模型。它支持GLM-5.2、Kimi K3等9个模型,最低16GB内存即可运行744B模型,无需GPU,并采用LRU缓存与专家预测提升速度。
完成下面两步后,将自动完成登录并继续当前操作。