FreeToken通过专家缓存与CPU-GPU协同，在8GB显存上运行35B MoE模型。它将完整专家池存于内存，显存作为LRU缓存，按q*策略动态分配未命中专家至GPU或CPU，Prefill用双缓冲隐藏传输，并优化Agent状态缓存。相比llama.cpp静态卸载，FreeToken更高效，但仅适用于MoE模型。