自建智能体账单真相：1张GPU能扛住几个程序员？
内容提要
AI编程助手按token收费导致成本飙升，Uber四个月烧光全年预算，重度用户年耗九万美元。自建GPU虽省API费，但利用率低，空转耗电。测试显示，单张H200可扛32人，八张B200仅8人，成本差异大。开源模型与闭源差距缩小，但硬件门槛高。选择自建或租用需按实际负载算账，空转GPU比API更烧钱。
延伸解读
自建GPU的隐性成本：利用率是关键
文章指出，自建GPU虽然省去了API按token收费，但硬件利用率低是主要问题。企业级推理负载的GPU利用率通常只有15%-22%，即使优化也很难超过35%。这意味着大部分时间GPU在空转耗电，如同租了健身房却只使用两小时。因此，自建前必须评估团队的实际负载，避免硬件闲置带来的浪费。
并发用户数与模型选择的权衡
测试显示，不同硬件和模型组合的并发用户数差异巨大：单张H200可支持32人使用Qwen3.6，而八张B200跑GLM-5.2仅能支持8人。小模型速度快但能力有限，大模型聪明但吞吐低。团队应根据任务复杂度选择合适模型，避免盲目追求顶级模型导致硬件成本飙升。
开源与闭源模型的成本对比
文章对比了自建与API的成本：Qwen3.6自建成本仅为API的1/134，而DeepSeek-V4-Flash自建与API成本接近，GLM-5.2自建比闭源API便宜7倍。但自建需考虑硬件满载率，如四张H200需保持89%利用率五年才能跑赢API。租GPU则介于两者之间，适合短期或弹性需求。
警惕推理引擎的调度陷阱
测试发现吞吐量在高并发时出现断崖式下跌，原因在于vLLM框架的调度参数未优化，KV缓存满后系统性能骤降。推测解码在低并发时提速，但高并发时反而拖累性能。这些参数可通过调优改善，同一硬件经优化可多支持一倍用户，值得团队深入研究。
Q&A
为什么AI编程助手按token收费会导致成本飙升？
因为AI编程助手（如GitHub Copilot）改为按token收费后，每个代码任务都会消耗大量token，导致成本急剧上升。例如，Uber四个月烧光了全年AI预算，重度用户一年花费高达九万美元。
自建GPU运行AI编程助手有哪些优缺点？
自建GPU可以节省API费用，但存在利用率低的问题，GPU空转耗电，企业级推理负载的GPU利用率通常只有15%-22%，调得好也不超过35%。此外，硬件成本高，需要维护。
单张H200 GPU能支持多少个并发用户？
单张H200 GPU运行Qwen3.6模型时，能支持32个并发用户，吞吐量比DGX Spark提升30倍。
为什么八张B200跑GLM-5.2时并发用户数反而更少？
因为GLM-5.2模型参数高达两万亿，加载到显存需要大量时间，且推理引擎在高并发下调度不佳，导致并发用户数只有8个左右。
自建GPU和租用GPU相比，哪种方式更划算？
这取决于具体模型和利用率。例如，Qwen3.6自建成本远低于API，但DeepSeek-V4-Flash自建与API成本相近，租用更贵；GLM-5.2自建成本远低于闭源API，但租用比自建贵但比API便宜。关键是要根据实际负载和利用率计算。
开源模型与闭源模型的差距现在有多大？
开源模型与闭源模型的差距正在缩小。例如，Kimi K3解决率达到86.4%，超过GLM-5.2和Anthropic Opus 4.8的62.5%，但可能因训练集重叠而打折扣。DeepSeek-V4-Flash和Qwen3.6解决率分别为39%和35%，虽低于顶级闭源，但日常开发够用。
如何决定是自建GPU还是使用API？
需要根据实际负载、峰值并发、数据隐私要求来计算。空转的GPU比API账单更烧钱，所以如果利用率低，自建可能不划算；如果利用率高，自建可能更经济。
