文章解释专家缓存不适用于稠密模型：MoE每Token仅激活约3B参数，可缓存热点专家；而Qwen3.8-27B每Token需计算全部27B权重，按Token搬运权重受PCIe带宽限制。作者在16GB显存上实现稠密推理引擎，通过显存预算规划、零拷贝放置、12种GGUF量化块原位GEMV、单流子层融合及分块注意力显著降低延迟，但整网端到端吞吐仍待实测。