本研究提出了Soundwave，一种高效的训练策略和新架构，旨在解决语音大型语言模型在语音与文本之间的表示空间差距和序列长度不一致的问题。Soundwave在语音翻译和AIR-Bench任务中表现优异，仅使用五十分之一的训练数据，仍能保持智能对话的表现。

该文综述视觉-语言模型的零样本识别研究，指出CLIP等模型擅长细粒度概念，但相似度评分未必反映文本准确性，模糊描述易被混淆；表示空间存在不可区分输入，导致过度泛化。零样本能力主要依赖识别类标签，属性数量影响显著。研究还涉及文本-图像生成、跨语言视频检索及反欺诈等应用。