内容提要
英伟达与Palantir合作,基于英伟达300亿参数的Nemotron 3.5 Lightning模型和Palantir平台,微调出供应链决策系统,用于物料分配,准确率达86.7%,超过5500亿参数通用大模型。双方计划将这一“主权AI”模式推广至制造、能源、医疗等行业,让企业用自有数据训练定制模型并在本地运行。
延伸解读
小模型专精化的实际意义
英伟达与Palantir的案例显示,经过领域微调的300亿参数模型在物料分配任务上达到86.7%准确率,而5500亿参数的通用大模型仅为55.5%。这并非说明小模型整体更强,而是表明在定义明确、数据充分的垂直场景中,专精化可以超越规模优势。对于企业而言,这意味着不必盲目追求最大模型,而应优先考虑用自有数据训练贴合业务的小模型。
主权AI的落地路径与数据控制
双方合作的核心是让企业用自有数据微调Nemotron模型,并在本地或受控环境中运行,从而保留数据、模型权重和推理过程的控制权。Palantir的Foundry和AIP负责整合决策数据,Ontology提供实时映射,cuOpt处理稀缺部件分配。这种模式适合对数据敏感、供应链复杂的行业,但前提是企业具备相应的数据治理和本地部署能力。
从英伟达自身试验到行业推广的局限
英伟达供应链包含数百万零件、数千供应商,其复杂性为技术验证提供了严苛环境。然而,英伟达自身部署的成功并不自动等同于其他行业可复制。技术博客也指出,该模型在供应分配任务上的提升集中于后训练领域,未来生产风险预测仍然困难。计划推广至制造、能源、医疗等领域时,企业需评估自身数据质量和场景定义是否足够清晰。
Q&A
英伟达和Palantir合作的具体内容是什么?
英伟达与Palantir合作,将主权AI引入关键供应链,首先应用于英伟达自身的供应链。他们基于英伟达的300亿参数Nemotron 3.5 Lightning模型,利用Palantir的Foundry和AIP平台,结合供应链运营团队的决策数据进行微调,开发出供应链决策系统,用于物料分配。
这个供应链决策系统的准确率如何?与更大模型相比表现怎样?
微调后的30B Nemotron 3.5 Lightning模型在供应分配任务上达到了86.7%的准确率,而550B的Nemotron 3 Ultra模型准确率仅为55.5%。尽管后者参数规模约为前者的18倍,但专用小模型在特定任务上表现更优。
英伟达和Palantir计划将这一模式推广到哪些行业?
他们计划将这一模式推广到制造业、能源、医疗、汽车和航空航天等行业。Palantir的客户可以利用Foundry和AIP平台,用自有数据训练Nemotron模型,构建适合自身供应链的定制系统,并在本地或通过云和托管提供商运行。
什么是主权AI?英伟达和Palantir如何实现它?
主权AI是指组织能够在严格控制的环境中运行和定制英伟达的AI模型,同时将敏感数据和模型权重保留在自己的控制之下。英伟达和Palantir通过结合英伟达的AI计算和模型与Palantir的软件,让企业用自有数据训练定制模型并在本地运行,从而实现主权AI。
为什么英伟达选择首先在自己的供应链中应用这项技术?
英伟达的供应链极其复杂,涉及数百万个零件、数千家供应商和全球制造网络,仅一个Vera Rubin机架就包含约130万个零件。这种复杂性使其成为测试和验证主权AI技术的理想环境,同时英伟达作为全球市值最高的公司之一,也有动力从自身开始优化供应链。
Nemotron 3.5 Lightning模型有什么特点?它在这次部署中扮演什么角色?
Nemotron 3.5 Lightning是英伟达于8月发布的300亿参数模型,属于Nemotron 3系列。它被英伟达和Palantir微调用于供应链部署,在物料分配任务中提供推荐。该模型是开源的,允许企业用专有数据定制,同时保持数据和模型权重在自有环境中。