英伟达宣布首个数字人技术设备端小型语言模型，提升游戏角色对话能力
内容提要
NVIDIA在Gamescom展示了其新的Nemotron-4 4B NIM，该NIM提高了游戏角色的对话能力，使其能够理解玩家并自然地回应。它针对GeForce RTX AI PC和笔记本电脑进行了优化。 Nemotron-4 4B Instruct提供了更好的角色扮演和函数调用能力。 Mecha BREAK是第一个展示ACE动力游戏互动的游戏。Perfect World Games还在探索具有新的AI视觉能力的数字人技术。
延伸解读
端侧运行的意义
Nemotron-4 4B Instruct 作为端侧小型语言模型，针对 GeForce RTX AI PC 和笔记本电脑优化，可低内存占用、快速响应。这意味着游戏开发者能直接在本地设备部署数字人技术，无需依赖云端，从而降低延迟、提升响应速度，并覆盖超过 1 亿台 RTX 设备。
ACE 技术套件的组成
NVIDIA ACE 是一套数字人技术套件，包含语音、智能和动画功能。在 Mecha BREAK 演示中，Nemotron-4 4B Instruct 负责对话理解，Audio2Face-3D NIM 生成面部动画，Whisper 实现语音识别，ElevenLabs 提供云端语音合成。这些组件协同工作，展示了端侧与云端结合的可行性。
游戏交互的实际应用
在 Mecha BREAK 中，玩家可与机械师 NPC 互动，该 NPC 能帮助选择机甲、定制外观并提供战斗建议。这体现了 ACE 技术如何增强游戏沉浸感，使 NPC 不再是固定脚本，而是能理解玩家指令并做出自然回应的动态角色。
数字人技术的扩展探索
Perfect World Games 正在其 Legends 演示中探索新的 AI 视觉能力，角色 Yun Ni 可通过摄像头看到玩家并识别现实世界的人与物体，背后由 ChatGPT-4o 驱动。这为游戏增加了增强现实层，有望提升沉浸感和可访问性，展示了数字人技术在游戏之外的潜力。
Q&A
Nemotron-4 4B NIM的主要功能是什么？
Nemotron-4 4B NIM提升了游戏角色的对话能力，使其能够更自然地理解玩家并作出回应。
Mecha BREAK游戏中如何利用NVIDIA的技术？
Mecha BREAK使用Nemotron-4 4B Instruct NIM来增强游戏互动，允许玩家与非玩家角色进行更自然的交流。
NVIDIA ACE技术的优势是什么？
NVIDIA ACE技术优化了数字人技术的应用，支持开发者在下一代游戏中实现更高的沉浸感和互动性。
Perfect World Games在数字人技术方面有哪些新探索？
Perfect World Games正在开发具有新AI视觉能力的数字人技术，提升游戏的沉浸感和可访问性。
Nemotron-4 4B Instruct如何支持角色扮演？
Nemotron-4 4B Instruct提供了更好的角色扮演和函数调用能力，使角色能够更准确地理解玩家指令并作出反应。
NVIDIA的数字人技术如何影响游戏开发？
NVIDIA的数字人技术通过提供生成式AI支持，帮助开发者创建更具互动性和沉浸感的游戏体验。
