降低延迟：NVIDIA首个设备端小语言模型如何让数字人更逼真
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
Amazing Seasun Games在Gamescom上展示了《Mecha BREAK》，首款使用NVIDIA ACE技术的游戏。该技术包括NVIDIA Nemotron-4 4B，提供更快、更相关的响应。NVIDIA ACE还引入了名为Nemotron-4 4B Instruct的本地小语言模型（SLM），为游戏角色提供更好的角色扮演、检索增强生成和功能调用能力。该模型可作为NVIDIA NIM云和本地部署的微服务提供给游戏开发者，针对低内存使用进行了优化，提供更快的响应时间，并为开发者提供了一种利用超过1亿台GeForce RTX笔记本电脑和NVIDIA RTX工作站的方式。
🎯
关键要点
- Amazing Seasun Games在Gamescom上展示了首款使用NVIDIA ACE技术的游戏《Mecha BREAK》。
- NVIDIA ACE技术包括NVIDIA Nemotron-4 4B，提供更快、更相关的响应。
- Nemotron-4 4B Instruct是本地小语言模型，增强了游戏角色的角色扮演和功能调用能力。
- 该模型可作为NVIDIA NIM微服务提供给游戏开发者，优化了低内存使用和响应时间。
- 小语言模型（SLM）专注于特定用例，能够更快、更准确地响应用户指令。
- Nemotron-4 4B通过从更大的Nemotron-4 15B LLM中提炼而来，具有更低的内存占用和更快的响应时间。
- ACE NIM微服务允许开发者通过云或本地部署生成式AI模型，提升游戏中的NPC互动。
- NVIDIA Riva自动语音识别技术提供实时高精度转录，支持多种语言的对话AI管道。
- NVIDIA Audio2Face技术生成与对话同步的面部表情，增强数字人类的互动体验。
- ACE支持多种NVIDIA和第三方AI模型的模块化，允许本地或云端推理。
- 数字人类的未来将超越游戏中的NPC，推动多个行业的变革，包括客户服务和医疗保健。
➡️
