内容提要
英伟达扩展Cosmos平台,新增训练工具、仿真检查点和数据工厂蓝图,帮助开发者更高效地训练、评估和部署世界模型。Cosmos数据工厂提供五类云端蓝图,用于自动驾驶、缺陷检测等合成数据生成;框架支持微调、强化学习、蒸馏和量化。保时捷、ANYbotics等已应用,可大幅减少实车测试并缩短开发周期。
延伸解读
数据工厂蓝图:合成数据补足真实场景盲区
Cosmos数据工厂提供五类云端蓝图,覆盖自动驾驶、缺陷检测、事件视频生成等场景。其核心价值在于针对难以采集或危险的真实场景生成合成样本,例如ANYbotics用其生成1500多个合成视频片段训练工业巡检机器人识别液体泄漏。保时捷则借助该蓝图预计减少90%重复实车测试。对开发者而言,这意味着训练数据的覆盖范围不再受限于物理采集成本,但合成数据的质量验证仍需配套工具。
框架开放化:从微调到量化的一站式适配
Cosmos Framework以开放模块化方式提供训练、优化和部署工具,并支持GR00T、Alpamayo、QWEN、Pi0.5等兼容Hugging Face的开放模型。开发者可通过微调和强化学习适配模型,再用蒸馏与量化优化。MicroAGI的案例显示,将320亿参数推理模型蒸馏至80亿参数后精度无损。这降低了世界模型定制的门槛,但文章未说明蒸馏和量化在不同任务上的通用性,实际效果仍需按场景验证。
仿真检查点与NIM:部署前的闭环测试
新增的Cosmos 3 Nano仿真变体让开发者能在可重复的多视角多传感器场景中测试自动驾驶和双臂机器人策略,再进入真实世界测试。配套代码支持闭环仿真评估。部署端,更新后的Cosmos 3 NIM微服务在验证配置下推理速度提升至2倍且质量无损,支持亚秒级告警。ADNOC已在65个站点用基于Cosmos的MistIQ平台实时检测安全隐患。这些工具将测试与部署衔接,但性能提升数据仅限特定验证配置。
Q&A
英伟达Cosmos平台新增了哪些工具来帮助开发者构建世界模型?
英伟达扩展了Cosmos平台,新增了训练工具、仿真检查点和Cosmos数据工厂蓝图,帮助开发者更高效地训练、评估和部署世界模型。
Cosmos数据工厂提供了哪些云端蓝图?
Cosmos数据工厂提供五类云端蓝图:自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成和视频数据增强。
保时捷如何使用Cosmos数据工厂?效果如何?
保时捷通过Microsoft Azure上的Voxel51使用Cosmos数据工厂,领导大众集团品牌共享自动驾驶数据飞轮,预计减少高达90%的重复物理测试驾驶,缩短高达85%的开发周期。
Cosmos框架支持哪些模型训练和优化功能?
Cosmos框架支持通过微调和强化学习适配GR00T、Alpamayo、QWEN、Pi0.5等开源模型,并通过蒸馏和量化优化模型,最后部署高性能推理。
Cosmos 3 Nano模型变体有什么用途?
Cosmos 3 Nano模型变体用于仿真,使开发者能在可重复、难以捕获的多视图多传感器场景中测试自主策略,并附有代码帮助开发者训练和评估自己的策略。
Cosmos NIM微服务带来了哪些性能提升?
更新后的Cosmos 3 NIM微服务在验证配置下提供高达2倍的推理速度,且无质量损失,同时连续视频分析可实现亚秒级警报。