NVIDIA发布了四个新的微服务，支持开发者构建和部署生成式人工智能应用程序。这些微服务支持区域语言模型，提供对当地法律、法规和习俗的更深入理解。模型在语言理解、法律任务、问答和语言翻译方面具有领先的性能。这些微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，可以提供高达5倍的吞吐量。它们以托管的API形式提供，并可在医疗、金融、制造、教育和法律等各个行业中使用。NVIDIA AI Foundry还提供了一个平台，供开发者创建定制的区域语言模型。

Amazon Bedrock是一个全面托管的服务，提供高性能基础模型（FM），用于构建生成式人工智能应用程序，支持监控和治理需求，符合GDPR和HIPAA监管，提供按需和预配置吞吐量两种定价模式。

微软Azure现在提供了基于NVIDIA加速计算技术的ND H100 v5虚拟机，可用于训练和部署生成式人工智能应用程序。该虚拟机采用NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand网络，提供超级计算级别的性能。开发人员和研究人员可以利用这一技术来发现新的消费者和商业用例。ND H100 v5虚拟机适用于训练和运行复杂的语言模型和计算机视觉模型，可以加速问答、代码生成、音频、视频和图像生成、语音识别等生成式人工智能应用程序。NVIDIA H100 Tensor Core GPU在推理方面比上一代实例有多达2倍的加速，展示了进一步优化人工智能应用程序的潜力。