RTX 4090 D 解锁实测:Tensor 吞吐翻倍与 Strata 复测
内容提要
作者为RTX 4090 D打补丁解锁后,FP32累加的Tensor吞吐翻倍:FP16 GEMM提升28%,BF16提升63%,TF32提升90%,数值校验无误。解锁后Strata运行Qwen3.8-Flash-Next,解码约129–145 token/s,长输入预填充约3422 token/s,较此前提升约18–21%。但解锁对实际推理的贡献仍需同配置A/B测试确认。
延伸解读
解锁收益集中在特定计算路径
实测显示,解锁后Tensor吞吐提升仅出现在FP32累加的运算中:FP16 GEMM提升28%,BF16提升63%,TF32提升90%;而FP16累加、INT8和dp4a等路径几乎不变。这说明解锁并非全面提升算力,而是恢复了被限制的特定指令吞吐。读者需注意,GEMM增益因数据类型而异,不能简单外推为应用速度翻倍。
推理提速对比存在混杂因素
Strata复测中,解码和长输入预填充较此前分别提升约20.67%和18.00%,但对比跨越了引擎版本升级(v0.1.39到v0.1.47),且输入文本、生成长度和采样设置均不同,MTP接受率和专家缓存命中也有变化。因此,这些差异不能全部归因于解锁。要量化解锁对推理的贡献,需在相同引擎、输入和配置下进行锁定/解锁A/B测试。
实验边界与未验证项
本次测试仅覆盖单次前后对比和两次正常重启,未进行断电循环或长时间稳定性负载;第二次重启只检查了解锁状态和服务健康,未重复完整计算测试。此外,恢复原启动路径后的速率回读及断电后状态均未测试。补丁基于特定内核和社区提交,内核变更需重新构建验证。读者应将这些结果视为特定配置下的实验数据,而非普适结论。
Q&A
RTX 4090 D 解锁后 Tensor 吞吐量具体提升了多少?
FP16 GEMM 提升 28.22%,BF16 提升 63.16%,TF32 提升 90.28%;MMA 微基准中 FP16/FP32 累加从 145.1 升至 291.5 TFLOPS,BF16/FP32 从 145.0 升至 289.6 TFLOPS,而 FP16 累加和整数运算基本不变。
解锁 RTX 4090 D 需要哪些步骤和注意事项?
需使用社区补丁(如 JustAResearcher 的提交),添加设备准入、AD102 固件选择等修改,并设置 ad102d_experimental=1 和 targets=完整 PCI 地址(如 0000:01:00.0)。解锁模块必须在 NVIDIA 驱动前加载,可通过独立启动项和早期加载脚本实现。注意:不刷 VBIOS,需禁用 Secure Boot,且该补丁为实验性,仅限单卡。
解锁后 Strata 运行 Qwen3.8-Flash-Next 的推理速度如何?
解码速度约 129–145 token/s,长输入预填充约 3421.9 token/s。具体:短中文请求解码 134.8 token/s,2K 中文材料解码 137.3 token/s,8K 中文材料解码 144.6 token/s,32K 源码审查解码 129.0 token/s、预填充 3421.9 token/s。
解锁后的数值精度是否可靠?
数值校验通过:FP16 和 BF16 GEMM(FP32 累加)各检查 65536 个元素,失败数为 0,最大绝对误差为 0;FP16、TF32、INT4 的 cubin 检查各覆盖 270336 个元素,无不匹配。主机单元测试 22 项中 19 项通过,3 项因缺少依赖跳过。
解锁对实际模型推理的贡献有多大?
文章指出,解锁对实际推理的贡献仍需同配置的锁定/解锁 A/B 测试确认。当前对比中,解码提升约 20.67%,长输入预填充提升约 18.00%,但混杂了引擎升级(v0.1.39 到 v0.1.47)、输入文本、生成长度和采样设置变化等因素,不能单独归因于解锁。
如何恢复到原始启动路径并确认解锁状态?
检查是否有待处理的测试 BootNext,若有则用 efibootmgr --delete-bootnext 取消,然后正常重启。启动原始路径后,重新读取速率以确认是否恢复半速率运行,必要时进行电源循环。注意:恢复重启和电源循环后的状态未在实验中测试。