NVIDIA在日本和台湾推出用于生成式AI的NIM微服务
内容提要
NVIDIA发布了四个新的微服务，支持开发者构建和部署生成式人工智能应用程序。这些微服务支持区域语言模型，提供对当地法律、法规和习俗的更深入理解。模型在语言理解、法律任务、问答和语言翻译方面具有领先的性能。这些微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，可以提供高达5倍的吞吐量。它们以托管的API形式提供，并可在医疗、金融、制造、教育和法律等各个行业中使用。NVIDIA AI Foundry还提供了一个平台，供开发者创建定制的区域语言模型。
延伸解读
主权AI趋势下的区域语言模型
文章指出，全球多国正推动主权AI，以确保AI系统符合本地价值观、法律和利益。NVIDIA推出的NIM微服务支持针对日本和中文数据训练的区域语言模型，如Llama-3-Swallow-70B和Llama-3-Taiwan-70B，旨在提升对当地法律、法规和习俗的理解。这反映了AI本地化不仅是技术需求，也涉及文化和主权考量。
性能优化与部署优势
这些NIM微服务经过TensorRT-LLM优化，推理吞吐量可提升高达5倍，有助于降低生产环境中的总成本并减少延迟。它们以托管API形式提供，企业、政府机构和大学可以在自有环境中托管本地LLM，从而在满足数据安全要求的同时，构建更高效的生成式AI应用。
行业应用与定制化需求
文章提到，这些微服务可应用于医疗、金融、制造、教育和法律等行业。例如，日本Preferred Networks基于Llama-3-Swallow开发了医疗专用模型，台湾长庚医院则利用Llama-3-Taiwan提升医患沟通效率。但企业仍需根据自身业务流程和领域知识对区域模型进行微调，NVIDIA AI Foundry为此提供了定制化平台。
Q&A
NVIDIA推出的NIM微服务有哪些主要功能？
NIM微服务支持开发者构建和部署生成式AI应用，提供区域语言模型，增强对当地法律和文化的理解，并优化推理性能。
Llama-3-Swallow-70B和Llama-3-Taiwan-70B模型的训练数据来源是什么？
Llama-3-Swallow-70B模型训练于日本数据，而Llama-3-Taiwan-70B模型则训练于中文数据。
NIM微服务在医疗行业的应用实例有哪些？
例如，Chang Gung Memorial Hospital使用Llama-3-Taiwan-70B模型来提高医疗前线工作人员的效率，Preferred Networks开发了针对日本医疗的AI模型。
NVIDIA AI Foundry提供了哪些支持？
NVIDIA AI Foundry为开发者提供创建定制区域语言模型的工具，包括基础模型、微调工具和云计算能力。
NIM微服务如何提高生成式AI应用的性能？
NIM微服务经过优化，使用NVIDIA TensorRT-LLM开源库进行推理，提供高达5倍的吞吐量，降低延迟。
企业如何微调区域AI模型以适应自身需求？
企业需要根据自身的业务流程和领域专业知识对区域AI模型进行微调，以确保模型的有效性和适用性。
