RTX 4090 D Tensor解锁：量化MoE推理能获得什么？
内容提要
文章指出，RTX 4090 D解锁仅恢复FP16/BF16/TF32浮点Tensor吞吐，而低比特量化MoE推理主要使用INT8/INT32整数指令，整数吞吐未变。Strata专家内核采用纯整数mma指令，瓶颈在显存带宽、PCIe传输与CPU卸载，而非浮点算力。48GB 4090实测预填充为原版0.98–0.99倍，本地长窗口无明显收益。解锁真正受益于LoRA/SFT微调、扩散模型及BF16大批量稠密推理。
延伸解读
浮点提升与整数瓶颈的错配
文章通过控制变量测试显示，解锁后FP16、BF16、TF32的Tensor吞吐分别提升28%、63%和90%，但INT8、INT4及dp4a指令吞吐完全不变。而量化MoE推理的专家内核使用纯整数mma指令，因此浮点算力的翻倍对这类负载几乎无效。这提醒读者，评估硬件加速效果时需先确认实际执行路径，而非只看标称算力。
量化MoE推理的真实瓶颈
Strata的专家内核采用INT8输入、INT32累加的整数指令，关键路径由整数运算和解量化/数据解包主导。同时，系统受限于显存带宽、PCIe传输和CPU卸载，解锁并未增加任何带宽。根据阿姆达尔定律，加速占比极小的浮点运算对整体性能提升微乎其微。因此，优化量化MoE推理应优先关注内存与传输效率。
实测数据与本地观察的印证
社区在48GB RTX 4090上的受控测试表明，8K和32K输入预填充的解锁/原版性能比分别为0.983倍和0.993倍，无增益甚至略降。作者本地长窗口监控也显示，解锁窗口的加权生成速率和预填充速率均未超过原版。虽然自然负载非严格A/B测试，但结果一致表明解锁对量化MoE推理无实际收益。
解锁真正受益的工作负载
文章指出，解锁后的浮点Tensor算力在LoRA/SFT微调、扩散模型（如Stable Diffusion、Flux、CogVideoX）以及BF16大批量稠密LLM推理中能带来明显加速，因为这些场景依赖FP16/BF16输入、FP32累加的密集矩阵乘法，且通常受计算限制而非带宽限制。读者若主要运行量化MoE推理，则无需为解锁投入。
Q&A
RTX 4090 D 解锁后，量化 MoE 推理为什么几乎没有性能提升？
因为解锁只恢复了 FP16/BF16/TF32 浮点 Tensor 吞吐，而低比特量化 MoE 推理主要使用 INT8/INT32 整数指令，整数吞吐并未改变。实际瓶颈在显存带宽、PCIe 传输和 CPU 卸载，而非浮点算力。
Strata 的专家内核在量化推理时使用什么指令？
Strata 0.1.48 的量化专家预填充内核直接使用 PTX 整数指令 mma.sync.aligned.m16n8k32.row.col.s32.s8.s8.s32，其中 s8 表示 INT8 输入，s32 表示 INT32 累加，完全属于整数执行路径。
解锁后 FP16、BF16、TF32 的 GEMM 吞吐分别提升了多少？
在 8192 阶方阵、425W 功耗限制的受控测试中，FP16→FP32 提升 28.22%，BF16→FP32 提升 63.16%，TF32 提升 90.28%，而普通 FP32 仅提升 0.80%。
48GB RTX 4090 解锁后在长输入预填充场景下实测表现如何？
社区在 48GB 改装 RTX 4090 上使用 Strata 0.1.47 和 IQ3_S 量化测试：8K 输入时解锁后为原版的 0.983 倍，32K 输入时为 0.993 倍，性能没有提升甚至略有下降（在噪声范围内）。
RTX 4090 D 解锁后哪些工作负载能真正受益？
主要受益于：1) LoRA/SFT 微调与训练（FP16/BF16 输入、FP32 累加的大矩阵乘）；2) 扩散模型（Stable Diffusion、Flux、CogVideoX）的稠密浮点 GEMM；3) 使用 BF16 等原生精度的大批量稠密 LLM 推理（计算密集型场景）。
解锁后长时间运行是否稳定？有没有遇到问题？
长时间运行中曾出现 Xid 79: GPU has fallen off the bus 事件，但回退到原版频率后也复现过一次，说明该问题与解锁状态无严格关联，可能与电源瞬态、驱动或自定义内核设置有关。目前显卡以原版频率稳定日常使用。
