💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
NVIDIA 发布了 PersonaPlex-7B-v1，这是一个全双工语音对话模型，采用单一 Transformer 架构，支持自然语音交互、插话和重叠对话。该模型通过双流配置处理用户音频和智能体语音，结合真实与合成对话进行训练，评估结果显示其在对话动态和任务遵守方面表现优异。
🎯
关键要点
- NVIDIA 发布了 PersonaPlex-7B-v1，这是一个全双工语音对话模型。
- PersonaPlex 采用单一 Transformer 架构，支持自然语音交互、插话和重叠对话。
- 该模型通过双流配置处理用户音频和智能体语音，提升对话动态和任务遵守能力。
- PersonaPlex 使用神经编解码器编码连续音频，自回归地预测文本和音频标记。
- 模型拥有 70 亿个参数，基于 Moshi 网络架构，结合卷积神经网络和 Transformer 层。
- 训练数据融合了真实对话和合成对话，确保自然对话反馈和任务执行情况分开。
- 在 FullDuplexBench 和 ServiceDuplexBench 测试中，PersonaPlex 实现了高接管率和低延迟。
- 该模型的代码采用 MIT 许可，权重采用 NVIDIA 开放模型许可。
❓
延伸问答
PersonaPlex-7B-v1模型的主要功能是什么？
PersonaPlex-7B-v1是一个全双工语音对话模型，支持自然语音交互、插话和重叠对话。
PersonaPlex-7B-v1是基于什么架构的？
该模型基于Moshi网络架构，采用单一的Transformer架构。
PersonaPlex-7B-v1在对话动态方面的表现如何？
在FullDuplexBench和ServiceDuplexBench测试中，PersonaPlex实现了高接管率和低延迟，表现优异。
PersonaPlex-7B-v1的训练数据来源是什么？
训练数据融合了真实对话和合成对话，真实对话来自Fisher英语语料库，合成对话包括助理和客服角色。
PersonaPlex-7B-v1如何处理用户音频和智能体语音？
该模型通过双流配置处理用户音频和智能体语音，两个流共享相同的模型状态。
PersonaPlex-7B-v1的代码和权重许可是什么？
该模型的代码采用MIT许可，权重采用NVIDIA开放模型许可。
➡️
