NVIDIA发布了四个新的微服务,支持开发者构建和部署生成式人工智能应用程序。这些微服务支持区域语言模型,提供对当地法律、法规和习俗的更深入理解。模型在语言理解、法律任务、问答和语言翻译方面具有领先的性能。这些微服务经过优化,使用NVIDIA TensorRT-LLM开源库进行推理,可以提供高达5倍的吞吐量。它们以托管的API形式提供,并可在医疗、金融、制造、教育和法律等各个行业中使用。NVIDIA AI Foundry还提供了一个平台,供开发者创建定制的区域语言模型。
完成下面两步后,将自动完成登录并继续当前操作。