NVIDIA扩大与Microsoft的合作,助力开发者更快构建和部署AI应用

NVIDIA扩大与Microsoft的合作,助力开发者更快构建和部署AI应用

💡 原文英文,约700词,阅读约需3分钟。
📝

内容提要

NVIDIA在Microsoft Build上展示了与Microsoft Azure和Windows PC集成的解决方案,简化了AI模型部署并优化了路线规划和应用性能。Microsoft开发的最新AI模型正在优化为在NVIDIA GPU上运行,并作为NVIDIA NIM推理微服务提供。NVIDIA还将其他微服务添加到Microsoft Azure Marketplace,如cuOpt路线优化AI。此外,NVIDIA和Microsoft为使用NVIDIA GeForce RTX和NVIDIA RTX GPU的PC开发人员提供了优化和集成。

🔎

延伸解读

Phi-3模型优化与部署

微软扩展了Phi-3小型语言模型家族,新增70亿和140亿参数模型,以及支持图像和文本的42亿参数多模态模型Phi-3-vision。所有模型均通过NVIDIA TensorRT-LLM进行GPU优化,并作为NVIDIA NIM推理微服务提供,开发者可通过ai.nvidia.com或Azure Marketplace上的NVIDIA AI Enterprise获取API,实现便捷部署。

cuOpt路线优化微服务

NVIDIA cuOpt作为GPU加速的路线优化AI微服务,现已通过NVIDIA AI Enterprise在Azure Marketplace上提供。它采用大规模并行算法,支持实时物流管理,并在主要路由基准测试中创下多项世界纪录。开发者可将其与Azure Maps集成,优化车辆路线,节省旅行时间,减少闲置期,有望为物流和供应链行业节省数十亿美元。

PC端AI性能优化

NVIDIA和微软为Windows开发者提供新的优化和集成,加速下一代PC和工作站应用中的AI。通过NVIDIA DirectX驱动、Generative AI ONNX Runtime扩展和DirectML,大型语言模型推理性能提升高达3倍。WebNN API优化了Stable Diffusion和Whisper等模型在RTX GPU上的性能。Windows将通过DirectML支持PyTorch,使数千个Hugging Face模型原生运行,双方合作旨在提升超过1亿台RTX GPU的性能。

❓

Q&A

NVIDIA与Microsoft的合作主要集中在哪些方面?

NVIDIA与Microsoft的合作主要集中在简化AI模型部署、优化应用性能以及为开发者提供集成解决方案上。

cuOpt微服务在Azure Marketplace上有什么功能?

cuOpt微服务支持实时物流管理,利用大规模并行算法优化运输路线,能够为物流和供应链行业节省成本。

Microsoft的Phi-3模型有哪些新特性?

Microsoft的Phi-3模型扩展了小型和中型模型,并新增支持图像和文本的多模态模型Phi-3-vision。

NVIDIA如何优化AI在PC上的性能?

NVIDIA通过DirectX驱动、Generative AI ONNX Runtime扩展和DirectML等技术,提升了AI模型在RTX GPU上的推理性能。

NVIDIA和Microsoft在开发者大会上展示了哪些技术?

在开发者大会上,NVIDIA展示了NIM、cuOpt、Omniverse和RTX AI平台的现场演示。

NVIDIA的加速计算平台支持多少台PC?

NVIDIA的加速计算平台支持全球超过1亿台Windows GeForce RTX PC和NVIDIA RTX工作站。

🏷️

标签

➡️

继续阅读