6GB显存能跑35B MoE吗：FreeToken极限配置、性能压榨与实操教程
内容提要
6GB显存可运行Qwen3.6-35B-A3B-NVFP4，但需32GB以上内存，依赖CPU和PCIe。配置建议：Triton attention、memory-ratio 0.92、Prefill 2048、512专家槽。性能低于8GB的39.3 tok/s，适合短上下文和编码实验。需Ampere架构，逐步调优专家缓存和KV，实测不同后端。
延伸解读
6GB显存运行35B MoE的可行性边界
6GB显存运行35B MoE并非不可能，但需明确其边界。文章指出，RTX 3060 Laptop 6GB已有成功案例，但性能远低于8GB显卡的39.3 tok/s，且依赖32GB以上内存和CPU/PCIe。6GB显存主要存放非专家模块、KV缓存和少量热专家，完整专家池驻留内存，miss时由PCIe或CPU兜底。因此，6GB适合短上下文和编码实验，不适合长上下文或高并发场景。
显存与内存的权衡：专家缓存与KV的博弈
6GB显存下，专家缓存与KV缓存争抢同一块显存。增加专家缓存可降低Decode miss，但会压缩KV容量，限制上下文长度；反之亦然。调优需在满足目标上下文的最小KV与剩余空间最大化专家缓存之间找到平衡。文章建议从512专家槽起步，逐步增加，同时监控KV容量，避免因缓存过大导致KV不足，影响实际应用。
硬件架构与系统配置的隐性门槛
6GB显存并非所有6GB显卡都能运行，官方要求Ampere架构及以上，RTX 2060/GTX 1660等Turing架构不在支持范围。此外，系统内存至少32GB，建议48GB，且需注意内存带宽、PCIe通道数、CPU性能等整机因素。文章强调，带宽微基准测试结果不能直接套用，需实测不同后端（auto/offload/cpu/hybrid）以确定最优配置。
调优策略：从保守配置到逐步压榨
文章提供了一套系统的调优流程：先使用保守配置（Triton attention、memory-ratio 0.92、Prefill 2048、512专家槽）确保启动成功，然后通过带宽测试和分级增加专家缓存来优化性能。关键原则是每次只改变一个变量，并观察KV容量和Decode速度。若CPU满载或PCIe饱和，需调整后端或降低上下文长度，而非盲目增加缓存。
Q&A
6GB显存能运行Qwen3.6-35B-A3B-NVFP4模型吗？
可以尝试，已有RTX 3060 Laptop 6GB的成功案例，但需要至少32GB系统内存，且性能受限于CPU和PCIe带宽。
在6GB显存上运行Qwen3.6-35B-A3B-NVFP4，推荐的启动配置是什么？
推荐使用Triton attention、--memory-ratio 0.92、--max-prefill-length 2048、--moe-cache-size 512，并设置--max-running-requests 1。
为什么6GB显存比8GB更难运行35B MoE？
因为显存减少导致专家缓存和KV Cache容量被压缩，更多专家miss需要依赖PCIe或CPU处理，性能更受整机内存带宽、CPU和PCIe影响。
运行Qwen3.6-35B-A3B-NVFP4需要多大的系统内存？
32GB是紧张下限，建议48GB，开发或多任务建议64GB。16GB不建议，24GB极限实验可能失败。
哪些显卡架构支持FreeToken运行Qwen3.6-35B-A3B-NVFP4？
当前官方要求NVIDIA Ampere或更新架构，即RTX 30系列起。RTX 2060和GTX 1660等Turing架构不在支持范围。
如何逐步调优专家缓存大小？
先保存基线，然后使用ft ctl cache命令逐级增加专家缓存（如从512增至640、768等），每级用同一Prompt连续测试三轮，观察Decode速度和KV容量。
6GB显存运行35B MoE有哪些明确限制？
需要大内存（至少32GB），不支持非Ampere架构，不能复现8GB的39.3 tok/s，长上下文与专家命中率竞争，整机性能影响大，软件仍在快速变化。
