本研究提出了Soundwave,一种高效的训练策略和新架构,旨在解决语音大型语言模型在语音与文本之间的表示空间差距和序列长度不一致的问题。Soundwave在语音翻译和AIR-Bench任务中表现优异,仅使用五十分之一的训练数据,仍能保持智能对话的表现。
完成下面两步后,将自动完成登录并继续当前操作。