给万卡国产芯装个“超级外挂”!清华团队要造最强国产Token工厂

给万卡国产芯装个“超级外挂”!清华团队要造最强国产Token工厂

💡 原文中文,约5400字,阅读约需13分钟。
📝

内容提要

清昴智能联合华为昇腾等伙伴发起昇腾950DT万卡级Token工厂计划,目标建成国内最大独立国产Token工厂,并在五年内扩展至十万卡级网络。针对国产算力适配难、利用率低、供需错位等问题,清昴以MLGuider推理引擎和玄武智算云为核心,通过智能调度、KV Cache复用、算子优化和RSI自进化技术提升Token吞吐与交付稳定性,推动国芯国模形成自主可控的AI生产体系。

🔎

延伸解读

从“卖算力”到“卖Token”:供需语言的转换

文章指出,供给侧习惯按卡数、机柜和峰值算力衡量资源,需求侧却按有效Token产出、响应速度和服务质量采购,两者“说着两种不同的语言”。清昴的Token工厂计划试图充当“翻译官”,通过SLA和统一计量体系,把分散的国产算力转化为可计量、可验收的Token产能。这一转变意味着算力服务的竞争焦点,可能从硬件规模转向实际交付能力。

万卡只是起点:三道工程关口决定实际产能

文章将国产算力落地的难点归纳为三道关口:模型与硬件之间的适配时间差、设备上架率不等于算力利用率、以及客户真正关心的Token吞吐与稳定性。清昴披露的数据显示,通过智能调度和KV Cache复用,算力利用率曾从30%~40%提升至约80%。这说明同样规模的芯片,软件优化水平不同,最终Token产量可能差距明显。

联合运营:一种不依赖自有设备的扩张路径

与传统智算中心靠大量采购芯片和建设机房扩张不同,清昴的万卡计划采用四方共建、联合运营模式,由芯片、机房、模型需求等不同企业分工参与,并按投入和运营责任分配收益。文章认为,这让算力服务扩张不再完全依赖自有设备数量,技术效率和资源组织能力的重要性随之上升。不过,该模式的实际效果仍取决于多方协作与统一交付标准的执行。

RSI自进化:规模化复制的关键变量

面对数万张芯片和大量模型组合,若仍靠工程师反复调试,优化成本会急剧上升。清昴将RSI自进化技术引入Token工厂,尝试“用AI优化AI”,目前已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线。文章认为,这有助于缩短模型适配周期,但相关能力仍处于建设与积累阶段,其长期稳定性有待观察。

❓

Q&A

清昴智能发起的昇腾950DT万卡级Token工厂计划具体目标是什么?

该计划目标是在2027年推进昇腾950DT万卡级联合运营,建成国内领先的独立国产Token工厂,并在未来五年扩展为十万卡级别、覆盖多地域多芯片的自主可控Token工厂网络,实现统一调度与全国产算力供需匹配。

为什么国产算力规模扩大后,Token工厂仍面临效率挑战?

因为存在三道关口:一是模型与硬件的时间差,芯片研发周期约三年,而模型迭代快,且不同芯片软件栈不同,适配困难;二是设备上架率不等于算力利用率,真实负载波动大,固定调度方案难以匹配;三是供需语言错位,供给侧关注卡数和峰值算力,需求侧关注Token吞吐、时延和稳定性。

清昴智能的MLGuider和玄武智算云分别起什么作用?

MLGuider推理引擎负责优化模型在底层硬件上的计算效率;玄武智算云则将不同芯片与算力中心纳入统一管理,承担资源调度、运行监控和Token计量等工作。两者共同支撑Token的高效生产与稳定交付。

清昴的Token工厂在提升算力利用率和吞吐量方面有哪些实际效果?

通过智能网关动态分配算力和四级KV Cache复用,缓存命中率最高达99%,算力利用率从30%~40%提升至约80%;通过算子与分布式并行优化,特定MoE算子性能提升84倍,Linear Attention算子提升63.4倍;集群每分钟Token吞吐量从4000万提升至1.4亿,P99首Token时延从180秒缩短至40秒。

RSI自进化技术在Token工厂中如何解决规模化复制难题?

RSI自进化技术让AI参与优化支撑自身运行的计算系统,实现“用AI优化AI”。目前已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线,从而缩短模型适配与优化周期,减少新算力投入使用前的等待时间,降低大规模复制中的人工调试成本。

清昴的万卡计划采用怎样的合作模式?首批合作方有哪些?

计划采用四方共建、联合运营模式,各方围绕真实Token产出建立合作机制,通过服务质量协议(SLA)和统一计量体系明确投入、运营责任与收益分配。首批运营合作方包括北京智源人工智能研究院、上海数据港、中国电信湖北分公司、湖北大数据集团和北京国际算力服务有限公司等。

🏷️

标签

➡️

继续阅读