内容提要
Krafton开源语音AI模型A.X K2 Raon-Speech,采用端到端语音直接转换,保留情感语调,21B参数,韩语综合第一、英语第三,覆盖语音识别、合成等6领域,未来将用于游戏CPC角色实时互动。
延伸解读
端到端语音转换的意义
传统语音AI通常采用“语音转文本—语义理解—语音合成”的级联流程,每次转换都可能损失情感和语调信息。而A.X K2 Raon-Speech采用语音到语音的直接转换,减少了中间环节的信息损耗,能更完整地保留音色和情绪。这对游戏角色互动尤为重要,因为情感表达直接影响玩家的沉浸感。
开源策略与竞争格局
Krafton选择在Hugging Face开源该模型,并强调在30B以下开源语音语言模型中韩语综合第一、英语第三。开源有助于吸引开发者社区参与,加速技术迭代,同时提升公司在AI领域的影响力。但英语排名第三也表明,在全球化竞争中,该模型仍需在英语能力上继续提升。
游戏场景的应用前景
Krafton计划将语音AI技术应用于游戏中的CPC同伴角色,目标是让AI角色能实时理解玩家语音和意图,并作出情境化回应。这突破了传统固定台词的限制,有望带来更动态、更个性化的游戏体验。不过,实际效果还需依赖模型在复杂游戏环境中的稳定性和响应速度。
Q&A
Krafton开源的语音AI模型叫什么?
Krafton开源的语音AI模型名为“A.X K2 Raon-Speech”。
A.X K2 Raon-Speech与传统的语音处理流程有何不同?
传统流程是“语音转文本—语义理解—语音合成”,而A.X K2 Raon-Speech采用语音到语音的直接转换方式,减少了情感和语调信息的损失。
A.X K2 Raon-Speech的模型参数规模是多少?
A.X K2 Raon-Speech的参数量为21B(210亿)。
A.X K2 Raon-Speech在开源语音语言模型中的表现如何?
在参数规模30B以下的开源语音语言模型中,该模型韩语综合表现排名第一,英语排名第三。
A.X K2 Raon-Speech支持哪些能力?
该模型覆盖语音识别、语音合成、语音理解、语音问答、文本问答和工具调用等6个领域,并已完成46项基准测试。
Krafton计划如何将A.X K2 Raon-Speech应用于游戏?
Krafton计划将语音AI技术应用于游戏中的CPC(Co-Playable Character)同伴角色,使AI角色能实时理解玩家的声音和意图,并以符合情境的语音方式互动回应。