NVIDIA Blog
·
NVIDIA在日本和台湾推出用于生成式AI的NIM微服务
💡
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
NVIDIA发布了四个新的微服务，支持开发者构建和部署生成式人工智能应用程序。这些微服务支持区域语言模型，提供对当地法律、法规和习俗的更深入理解。模型在语言理解、法律任务、问答和语言翻译方面具有领先的性能。这些微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，可以提供高达5倍的吞吐量。它们以托管的API形式提供，并可在医疗、金融、制造、教育和法律等各个行业中使用。NVIDIA AI Foundry还提供了一个平台，供开发者创建定制的区域语言模型。
🎯
关键要点
- NVIDIA发布了四个新的微服务，支持开发者构建和部署生成式人工智能应用程序。
- 这些微服务支持区域语言模型，提供对当地法律、法规和习俗的深入理解。
- Llama-3-Swallow-70B和Llama-3-Taiwan-70B是针对日本和中文数据训练的区域语言模型。
- 这些模型在语言理解、法律任务、问答和语言翻译方面具有领先的性能。
- NIM微服务允许企业、政府机构和大学在自己的环境中托管本地LLM。
- NIM微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，提供高达5倍的吞吐量。
- NVIDIA AI Foundry为开发者提供创建定制区域语言模型的平台。
- 开发者可以轻松部署这些微服务，提升应用程序的性能和用户体验。
- NIM微服务在医疗、金融、制造、教育和法律等行业中具有广泛应用。
- 企业需要根据自身业务流程和领域专业知识对区域AI模型进行微调。
❓
延伸问答
NVIDIA推出的NIM微服务有哪些主要功能？
NIM微服务支持开发者构建和部署生成式AI应用，提供区域语言模型，增强对当地法律和文化的理解，并优化推理性能。
Llama-3-Swallow-70B和Llama-3-Taiwan-70B模型的训练数据来源是什么？
Llama-3-Swallow-70B模型训练于日本数据，而Llama-3-Taiwan-70B模型则训练于中文数据。
NIM微服务在医疗行业的应用实例有哪些？
例如，Chang Gung Memorial Hospital使用Llama-3-Taiwan-70B模型来提高医疗前线工作人员的效率，Preferred Networks开发了针对日本医疗的AI模型。
NVIDIA AI Foundry提供了哪些支持？
NVIDIA AI Foundry为开发者提供创建定制区域语言模型的工具，包括基础模型、微调工具和云计算能力。
NIM微服务如何提高生成式AI应用的性能？
NIM微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，提供高达5倍的吞吐量，降低延迟。
企业如何微调区域AI模型以适应自身需求？
企业需要根据自身的业务流程和领域专业知识对区域AI模型进行微调，以确保模型的有效性和适用性。
🏷️
标签
➡️
