“AI工厂是有史以来最复杂的系统之一”:英伟达与Palantir将英伟达供应链打造为主权AI的试验场

“AI工厂是有史以来最复杂的系统之一”:英伟达与Palantir将英伟达供应链打造为主权AI的试验场

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

英伟达与Palantir合作,基于英伟达300亿参数的Nemotron 3.5 Lightning模型和Palantir平台,微调出供应链决策系统,用于物料分配,准确率达86.7%,超过5500亿参数通用大模型。双方计划将这一“主权AI”模式推广至制造、能源、医疗等行业,让企业用自有数据训练定制模型并在本地运行。

🔎

延伸解读

小模型专精化的实际意义

英伟达与Palantir的案例显示,经过领域微调的300亿参数模型在物料分配任务上达到86.7%准确率,而5500亿参数的通用大模型仅为55.5%。这并非说明小模型整体更强,而是表明在定义明确、数据充分的垂直场景中,专精化可以超越规模优势。对于企业而言,这意味着不必盲目追求最大模型,而应优先考虑用自有数据训练贴合业务的小模型。

主权AI的落地路径与数据控制

双方合作的核心是让企业用自有数据微调Nemotron模型,并在本地或受控环境中运行,从而保留数据、模型权重和推理过程的控制权。Palantir的Foundry和AIP负责整合决策数据,Ontology提供实时映射,cuOpt处理稀缺部件分配。这种模式适合对数据敏感、供应链复杂的行业,但前提是企业具备相应的数据治理和本地部署能力。

从英伟达自身试验到行业推广的局限

英伟达供应链包含数百万零件、数千供应商,其复杂性为技术验证提供了严苛环境。然而,英伟达自身部署的成功并不自动等同于其他行业可复制。技术博客也指出,该模型在供应分配任务上的提升集中于后训练领域,未来生产风险预测仍然困难。计划推广至制造、能源、医疗等领域时,企业需评估自身数据质量和场景定义是否足够清晰。

Q&A

英伟达和Palantir合作的具体内容是什么?

英伟达与Palantir合作,将主权AI引入关键供应链,首先应用于英伟达自身的供应链。他们基于英伟达的300亿参数Nemotron 3.5 Lightning模型,利用Palantir的Foundry和AIP平台,结合供应链运营团队的决策数据进行微调,开发出供应链决策系统,用于物料分配。

这个供应链决策系统的准确率如何?与更大模型相比表现怎样?

微调后的30B Nemotron 3.5 Lightning模型在供应分配任务上达到了86.7%的准确率,而550B的Nemotron 3 Ultra模型准确率仅为55.5%。尽管后者参数规模约为前者的18倍,但专用小模型在特定任务上表现更优。

英伟达和Palantir计划将这一模式推广到哪些行业?

他们计划将这一模式推广到制造业、能源、医疗、汽车和航空航天等行业。Palantir的客户可以利用Foundry和AIP平台,用自有数据训练Nemotron模型,构建适合自身供应链的定制系统,并在本地或通过云和托管提供商运行。

什么是主权AI?英伟达和Palantir如何实现它?

主权AI是指组织能够在严格控制的环境中运行和定制英伟达的AI模型,同时将敏感数据和模型权重保留在自己的控制之下。英伟达和Palantir通过结合英伟达的AI计算和模型与Palantir的软件,让企业用自有数据训练定制模型并在本地运行,从而实现主权AI。

为什么英伟达选择首先在自己的供应链中应用这项技术?

英伟达的供应链极其复杂,涉及数百万个零件、数千家供应商和全球制造网络,仅一个Vera Rubin机架就包含约130万个零件。这种复杂性使其成为测试和验证主权AI技术的理想环境,同时英伟达作为全球市值最高的公司之一,也有动力从自身开始优化供应链。

Nemotron 3.5 Lightning模型有什么特点?它在这次部署中扮演什么角色?

Nemotron 3.5 Lightning是英伟达于8月发布的300亿参数模型,属于Nemotron 3系列。它被英伟达和Palantir微调用于供应链部署,在物料分配任务中提供推荐。该模型是开源的,允许企业用专有数据定制,同时保持数据和模型权重在自有环境中。

🏷️

标签

➡️

继续阅读