InfoQ
·
Azure容器应用无服务器GPU正式上线，支持NVIDIA NIM
内容提要
Azure推出无服务器GPU，支持AI工作负载，简化GPU任务的部署与管理。该功能基于NVIDIA A100和T4 GPU，支持NVIDIA NIM微服务，具备按需计费和自动扩展能力，适用于多种AI推理场景。
关键要点
-
Azure推出无服务器GPU，支持AI工作负载，简化GPU任务的部署与管理。
-
该功能基于NVIDIA A100和T4 GPU，支持NVIDIA NIM微服务，具备按需计费和自动扩展能力。
-
无服务器GPU为开发者提供灵活选项，专注于容器化AI应用，Azure负责基础设施管理。
-
NVIDIA NIM微服务支持高性能AI模型推理，兼容多种AI模型，包括开源和NVIDIA AI Foundation模型。
-
无服务器GPU的主要优势包括：自动扩展、按秒计费、内置数据治理和灵活计算选项。
-
用户可以在Azure门户中配置容器应用以利用GPU资源，支持实时和批量推理。
-
T4和A100 GPU使AI更易于获取、经济和高效，优化训练和推理。
-
GA发布引入默认GPU配额，适用于企业和按需客户，当前支持特定区域。
-
用户可以在Azure门户中为容器应用启用GPU，现有环境也可添加新的GPU工作负载配置。
-
有关无服务器GPU的更多详细信息，用户可参考QuickStart指南。
延伸解读
无服务器GPU的灵活性
无服务器GPU为开发者提供了灵活的选择，允许他们专注于容器化的AI应用，而无需担心基础设施的管理。这种模式适合需要快速迭代和部署的项目，尤其是在AI领域，能够有效降低开发和运维的复杂性。
NVIDIA NIM微服务的优势
NVIDIA NIM微服务支持多种AI模型的高效推理，适合大规模应用。开发团队可以利用这些微服务构建生成式AI应用，提升开发效率和应用性能。需要注意的是，不同的NIM模型有特定的硬件要求，用户在部署时需仔细确认。
按需计费的经济性
无服务器GPU的按秒计费模式使得用户只需为实际使用的计算时间付费，这对于预算有限的企业尤其重要。通过这种方式，企业可以更灵活地管理成本，避免资源浪费，适应不同的工作负载需求。
延伸问答
Azure无服务器GPU的主要功能是什么？
Azure无服务器GPU简化了GPU任务的部署与管理，支持AI工作负载，具备按需计费和自动扩展能力。
NVIDIA NIM微服务在Azure无服务器GPU中有什么作用？
NVIDIA NIM微服务支持高性能AI模型推理，兼容多种AI模型，简化了AI应用的安全和可靠部署。
使用Azure无服务器GPU的好处有哪些？
主要好处包括自动扩展、按秒计费、内置数据治理和灵活的计算选项。
如何在Azure门户中启用GPU资源？
用户可以在Azure门户中配置容器应用以利用GPU资源，支持实时和批量推理。
无服务器GPU支持哪些类型的GPU？
无服务器GPU支持NVIDIA A100和T4 GPU。
无服务器GPU的计费方式是怎样的？
无服务器GPU采用按秒计费的方式，仅对实际使用的GPU计算时间收费。
