开发者用C99编写推理引擎，在无GPU、仅8.24GB内存的CPU上成功运行Kimi K3模型，速度33秒/Token；内存增至128GB时提速至20秒/Token，但已达上限。该引擎按需从NVMe读取专家权重，采用4-bit格式，验证了超大规模模型在低内存设备上的可行性，并已开源。