本研究提出了LLaMA-Omni 2系列语音语言模型，结合了语音编码器和解码器。尽管仅使用20万多轮对话样本进行训练，该模型在多个基准测试中超越了GLM-4-Voice模型。

本文提出了VoxEval，一个新的基于语音的问答基准，旨在评估端到端语音语言模型的知识理解能力。研究表明，现有模型在多样化音频条件下存在显著性能限制，为未来改进提供了方向。

本研究提出了热启动训练方法，将上下文学习与语音语言模型相结合，实现了在未知任务上进行ICL。研究证实了语音语言模型进行ICL的可行性。