在SIGGRAPH大会上,NVIDIA以代理式AI和物理AI推动图形与仿真技术发展

在SIGGRAPH大会上,NVIDIA以代理式AI和物理AI推动图形与仿真技术发展

💡 原文英文,约3200词,阅读约需12分钟。
📝

内容提要

NVIDIA在SIGGRAPH大会上展示了AI与图形学的最新进展,包括通过MCP协议让AI代理融入创意工具、推出合成视频检测器NIM微服务、开源Cosmos 3 Edge世界模型,以及发布DGX Station上的Agent Toolkit。同时,NVIDIA还展示了MotionBricks等研究突破,推动物理AI和实时仿真发展。

🔎

延伸解读

MCP协议:创意工具迎来AI代理时代

NVIDIA在SIGGRAPH上展示了MCP协议如何让AI代理融入创意工具。Adobe、Blender、Houdini等软件通过MCP连接,使艺术家能用自然语言指挥代理完成检查场景、批量编辑等重复任务,同时保持创作控制权。这标志着创意工具从单纯加速转向“代理就绪”,本地运行模型还能提升响应速度并保护敏感数据。

合成视频检测:新闻编辑室的新防线

NVIDIA推出的Synthetic Video Detector NIM微服务,通过逐帧分析生成分类器评分,帮助编辑团队优先审查可疑视频。在压缩、裁剪等常见处理下,准确率仍达82%-92%,且可在本地或边缘部署。Wowza已将其嵌入直播流程,为广播、政府等对数据安全要求高的机构提供实时检测能力。

Cosmos 3 Edge:边缘物理AI的权衡突破

Cosmos 3 Edge是40亿参数的开放世界模型,专为Jetson等边缘设备优化,支持文本、图像、视频、声音和动作的多模态理解与生成。它解决了以往边缘AI在模型能力与部署效率间的取舍,在机器人、自动驾驶和智能基础设施中实现实时推理,并可通过DGX Station进行后训练定制。

DGX Station:本地运行超级代理的完整堆栈

NVIDIA Agent Toolkit将NemoClaw、Nemotron 3 Ultra模型、Omniverse工具和OpenShell安全运行时整合到DGX Station中,无需互联网即可运行。用户可构建定制化“超级代理”,且无按token计费成本。LangChain和Nous Research已适配该模型,展示了本地部署在成本和性能上的优势。

Q&A

NVIDIA在SIGGRAPH 2026上发布了哪些主要技术和产品?

NVIDIA在SIGGRAPH 2026上发布了多项技术和产品,包括:通过MCP协议让AI代理融入创意工具;推出合成视频检测器NIM微服务;开源Cosmos 3 Edge世界模型;发布DGX Station上的Agent Toolkit;以及展示MotionBricks等研究突破。

MCP协议如何帮助AI代理融入创意工具?

MCP协议允许AI代理在创意应用内部工作,例如检查场景缺失纹理、标记颜色管理不一致、准备导出变体、生成预览或验证镜头是否符合流程规则。创意应用如Adobe、Affinity、Blender、Boris FX、Foundry、SideFX和Unreal Engine都通过MCP连接,使AI代理能访问生产上下文,同时保持创作者的最终控制。

NVIDIA合成视频检测器NIM微服务的功能和性能如何?

该微服务逐帧分析视频,生成合成内容分类分数,帮助编辑团队优先审查、标记或隔离可疑片段。在NVIDIA测试中,未压缩视频准确率高达92%,15%压缩时87%,50%压缩时82%。在RTX系统上处理1080p视频仅需22毫秒,在L40 GPU上约30毫秒。它可部署在本地、边缘、混合或气隙环境,并已被Wowza集成用于直播工作流。

Cosmos 3 Edge是什么?它有哪些应用场景?

Cosmos 3 Edge是一个40亿参数的开放世界模型,专为边缘GPU优化,支持文本、图像、视频、环境声音和动作的生成与理解。它用于物理AI,如机器人操作、自动驾驶车辆的道路场景理解、智能基础设施的实时视频分析。它可在Jetson、RTX PRO、DGX和GeForce RTX上运行,并支持后训练以适应特定任务。

NVIDIA Agent Toolkit在DGX Station上提供哪些功能?

Agent Toolkit在DGX Station上集成了NemoClaw、Nemotron 3 Ultra模型、Omniverse库和安全的运行时,无需互联网即可本地运行。它支持构建和运行领域特定的“超级代理”,可连接多个系统扩展规模。它还包括两个新playbook,帮助开发者快速部署。

MotionBricks是什么?它如何推动物理AI发展?

MotionBricks是一个实时运动模型,基于超过35万个运动片段训练,运行速度达到游戏引擎级别,允许创作者指导和连接角色运动。它同时驱动屏幕上的动画角色和Unitree G1人形机器人,利用计算机图形和仿真加速物理AI开发。

NVIDIA在SIGGRAPH上展示了哪些研究突破?

NVIDIA展示了21篇技术论文,包括MotionBricks(实时运动模型)、GPC(生成控制器训练框架)、ArtiFixer(清理3D捕获场景)、新的物理求解器(模拟雪、沙等材料)、VideoNeuMat(从生成视频中提取可重光照材质)和ARDY(文本控制3D角色运动)。这些研究旨在创建物理上真实且实时响应的虚拟世界。

🏷️

标签

➡️

继续阅读