中国大模型里的英伟达禁运卡训练指纹

中国大模型里的英伟达禁运卡训练指纹

💡 原文中文,约9200字,阅读约需22分钟。
📝

内容提要

OpenAI前研究员报告称,在DeepSeek、月之暗面、MiniMax和蚂蚁的6个模型权重中发现英伟达Blackwell芯片训练指纹,证明其使用禁运卡训练。报告估算约1.2万张卡,但不等于这些卡已走私入华,更多算力来自东南亚机房,且多与阿里等中国公司有关。国产卡在算力、显存、带宽和CUDA生态上差距明显,短期难替代。美国管制将更严,中国公司获取算力成本更高,DeepSeek处境最尴尬。

🔎

延伸解读

“指纹”实锤了什么,没实锤什么

报告通过模型权重中可复现的伪随机数起始模式,确认DeepSeek、月之暗面、MiniMax和蚂蚁的6个模型版本使用了英伟达Blackwell芯片训练。但这只能证明训练算力来自禁运卡,不能证明这些卡已走私进入中国。文章指出,更多算力位于东南亚机房,且这些机房的主要客户就是中国AI公司,因此“用了禁运卡”与“卡在中国境内”是两回事。

国产卡预训练的差距不只是算力

文章从四个层面说明国产卡做大模型预训练的难点:单卡算力只有英伟达的几分之一,显存容量和带宽也明显落后,例如昇腾950DT公开的144GB显存和4TB/s带宽均约为B300的一半;更关键的是CUDA生态积累深厚,遇到问题有大量现成经验可参考,而国产软件栈缺少可复用的工程案例。这些差距叠加,使大规模集群训练的稳定性和效率更难保证。

管制收紧后,成本与不确定性上升

文章判断,指纹曝光后美国管制会进一步收紧,追查方向包括芯片转运、海外买卡公司的最终控制方,以及外国机房向中国公司出租算力的远程使用。已有案例显示,Oracle在美国压力下取消了与腾讯约70亿美元的芯片租赁安排。但文章也认为不会完全卡死,已投入的机房仍需回本,中国团队会继续寻找绕行方案,代价是获取算力更贵、更不确定。

DeepSeek为何处境最尴尬

DeepSeek不仅面临工程和商业账,还背负被舆论放大的“国运”期待。文章提到,DeepSeek开发R2时曾尝试华为芯片训练,遇阻后回到英伟达,拖慢了进度。如今外界又传V5将用国产卡训练,但报告已能通过权重指纹识别训练起点。若V5最终仍被确认使用英伟达芯片,此前“遥遥领先”的叙事会更难维持,DeepSeek自身低调,但被舆论绑架的风险最高。

❓

Q&A

报告是如何证明中国大模型使用了英伟达禁运卡训练的?

报告通过分析模型公开权重中的训练起始指纹来证明。英伟达不同型号的算力卡在生成初始伪随机数时,由于计算单元数量不同(如H100/H200为132,B200/B300为148,GB200/GB300为152),会留下独特的排列规律。研究人员用对应型号的卡重新生成初始数据,如果与模型中的指纹完全一致,即可确定训练所用卡型。例如DeepSeek V4-Flash的初始数据与B300/B200生成的结果一模一样。

报告估算这些模型训练用了多少张英伟达卡?这些卡是否已经走私到中国?

报告估算Kimi K3训练约用4,500张卡,DeepSeek V4-Pro约3,000张,V4-Flash、MiniMax M3和蚂蚁模型各约1,500张,总计约12,000张。但这不等于这些卡已走私到中国。更多算力位于东南亚(印尼、马来西亚、新加坡、泰国)的机房,这些机房主要将算力租给中国公司,且许多与阿里等中国公司有投资或担保关系。

国产算力卡做大模型预训练主要难在哪里?

国产卡面临四道难关:一是算力只有英伟达的几分之一,需靠增加卡数弥补;二是显存容量不足,如昇腾950DT为144GB,而B300为288GB;三是显存带宽只有一半,昇腾950DT为4TB/s,B300为8TB/s;四是CUDA软件生态难以替代,缺乏成熟的工具、库和经验积累,遇到问题无人可问。此外,大规模训练中意外中断频繁,恢复和调试难度极大。

美国管制接下来可能会在哪些环节收紧?

美国管制可能从三层收紧:第一层是继续严查芯片转运和假客户,防止先进卡流入中国;第二层是追查买卡公司的最终控制方,即使公司在海外注册,也可能追溯到中国母公司;第三层是监管外国机房将算力远程租给中国公司使用,相关法案已过众议院,待参议院通过。此外,政治压力可能导致类似Oracle取消腾讯70亿美元芯片租赁安排的案例增多。

为什么说DeepSeek在禁运卡指纹事件中最麻烦?

DeepSeek不仅面临工程和商业压力,还背负着“国运产品”的舆论包袱。此前R1被过度吹捧,导致后续V4发布时因未显著超越同行而令人失望。如今又传出V5将用国产卡训练,若最终被证实仍依赖英伟达芯片,舆论反噬会更严重。此外,DeepSeek对传闻一贯不回应,更易被外界绑架和炒作,处境最为尴尬。

中国公司获取英伟达算力的成本和不确性会如何变化?

随着美国管制收紧,中国公司获取英伟达算力的成本会更高,不确定性也会增加。合同可能因政治压力被取消(如Oracle案例),未来交易需更隐蔽。但算力不会完全断供,因为已投资的东南亚机房依赖中国订单回本,会寻找变通安排。中国团队能绕过限制,但需付出更多金钱和时间成本,对手继续前进时,这些代价会拖慢追赶速度。

🏷️

标签

➡️

继续阅读