双 DGX Spark 用于智能体负载:基准亮眼,现实爬行

💡 原文英文,约1700词,阅读约需7分钟。
📝

内容提要

双 DGX Spark 实测显示:合成基准表现亮眼,但真实智能体负载下出现卡顿。两机直连带宽约 200Gb/s,内存带宽仅 273GB/s 成为瓶颈。短提示下六并发达 172.7 tok/s,但五个子智能体扫描代码库时单流降至 15–25 tok/s,六分钟无结果。该设备仅适合单用户逐轮编程,不适合并发多智能体或长上下文任务。

🔎

延伸解读

内存带宽:被忽视的硬瓶颈

文章指出,双 DGX Spark 的节点间带宽虽标称 200Gb/s,但实际受限于 PCIe Gen5 x4,单向理论最大值仅约 126Gb/s。然而,真正的瓶颈在于内存带宽:每节点 128GB LPDDR5X 仅提供 273GB/s,远低于 RTX 4090 的 1008GB/s 和 Mac Studio M3 Ultra 的 819GB/s。这意味着即使模型能通过 TP=2 分片加载,解码速度仍被内存带宽锁死,无法通过增加节点来提升单流生成速度。

合成基准与真实负载的鸿沟

合成基准使用固定 128 token 短提示并启用 ignore_eos,六并发达 172.7 tok/s,但八并发时总吞吐骤降至 79.8 tok/s,且每流解码速度分散。真实智能体负载下,五个子智能体并发扫描代码库时,单流生成降至 15–25 tok/s,六分钟后仍无结果。这表明短提示基准无法反映长上下文、多并发场景下的实际性能,读者应警惕被高吞吐数字误导。

适用场景与局限

文章总结,双 DGX Spark 仅适合单用户逐轮编程,在稳定系统提示和高前缀缓存命中率下,35–45 tok/s 勉强可用,前提是代码和数据敏感必须本地处理。它不适合并发多智能体、仓库级审计或长上下文任务,因为 LPDDR5X 内存带宽和长上下文预填充延迟会立即成为瓶颈。增加节点只能解决模型内存容量问题,无法改变单流解码慢的物理现实。

改装显卡的替代方案考量

文章提及,同预算下改装显卡(如 48G RTX 4090 或 96G RTX 5090)虽提供更高内存带宽,但需额外主板、CPU、电源等成本,且改装卡存在规格不透明、无独立拆解验证等风险。双 DGX Spark 则即插即用,含 240W 电源和保修,128GB 内存包含在系统价格中。作者未比较总成本,但提醒读者改装卡并非简单替换,需考虑完整主机开销和可靠性。

❓

Q&A

双 DGX Spark 直连的实际带宽是多少?为什么不是 400G?

实际节点间带宽上限约 200 Gb/s。虽然每台机器有两个 200G 端口,但每端口背后的 ConnectX-7 只接在 PCIe Gen5 x4 上,单口单向理论最大约 126 Gb/s,实测单缆约 99.7 Gb/s,双缆聚合约 196 Gb/s。没有交换机,也没有节点间 NVLink。

双 DGX Spark 在合成基准测试中表现如何?

使用固定 128 token 短提示并开启 ignore_eos 时,六并发达峰值 172.7 tok/s,单流解码约 43.8 tok/s,空闲单流约 54 tok/s。但八并发时总吞吐降至 79.8 tok/s,每流解码在 10 到 47 tok/s 之间波动。

为什么双 DGX Spark 在真实智能体负载下会卡顿?

真实负载下,五个子智能体并发扫描代码库时,单流生成速度降至 15–25 tok/s,六分钟后没有任何子智能体完成总结。主要瓶颈是内存带宽仅 273 GB/s,以及长上下文预填充延迟高。

双 DGX Spark 适合哪些使用场景?

勉强适合:单用户逐轮结对编程,配合稳定系统提示和高前缀缓存命中率,35–45 tok/s 尚可接受,前提是代码和数据敏感不能上云。自然适合:技术网红或赞助评测者的昂贵桌面玩具。不适合:并发多智能体集群、全仓库审计或重长上下文工作负载。

双 DGX Spark 的内存带宽与其他硬件相比如何?

DGX Spark 每节点 128 GB LPDDR5X 统一内存,带宽仅 273 GB/s。对比:RTX 4090 为 1008 GB/s,Mac Studio M4 Max 为 410–546 GB/s,M3 Ultra 为 819 GB/s。其卖点是超大统一内存容量,而非高内存带宽。

双 DGX Spark 与改装显卡方案相比如何?

改装 RTX 4090 48G 单卡带宽 1008 GB/s,是 Spark 的三倍多,但需额外主板、CPU、内存、电源、机箱和散热,且假设已有台式机。改装 RTX 5090 96G 裸卡标价 3888 美元,但产品页内存规格存疑,无独立拆解验证。双 DGX Spark 无需组装,含 240W 电源和 140W GB10 TDP,有厂商保修,128 GB 内存包含在系统价格内。文章未比较完整主机总成本。

🏷️

标签

➡️

继续阅读