迷你全能：语言模型在流媒体中可以边听边说
内容提要
本文介绍了多种语音处理模型的研究进展，包括FAST方法、AudioPaLM、OWSM和Pheme模型系列。这些模型在语音识别、翻译和对话系统中表现出色，克服了传统模型的局限性，提升了性能和交互能力。同时，提出了AIR-Bench基准评测音频语言模型的能力，为未来研究指明了方向。
延伸解读
从离线到流式：语音翻译的实时化挑战
FAST方法针对离线训练与在线推理不匹配的问题，通过将未来信息集成到推理策略中，使流式语音翻译在质量和延迟之间取得更好平衡。在MuST-C EnDe、EnEs和EnFr基准上，它比强基线表现更优。这提示读者，流式场景下模型需专门适配，而非简单套用离线模型。
开源与评测：推动语音模型透明发展
OWSM公开所有脚本、预训练模型和训练日志，旨在解决全流程模型开发中的性能、效率、鲁棒性和偏见等问题，促进开放科学。AIR-Bench则首次系统评估音频语言模型在理解人声、自然声音和音乐及文本交互方面的能力，其GPT-4评估与人工结果高度一致，揭示了现有模型的局限。
对话语音生成：降低数据依赖的新路径
Pheme模型系列能并行生成自然对话式语音，在较小规模对话数据上高效训练，数据需求降低10倍以上，质量仍与自回归TTS模型相当。通过教师-学生蒸馏，仅用合成语音即可在单说话者设置上显著提升音质。这为资源有限的对话语音合成提供了实用方案。
实时双向交互：边说边听的新范式
LSLM设计允许模型同时听和说，解决了传统语音模型无法双向交互的问题。通过中间融合策略，它在噪声环境中表现出色，提升了人机交互的自然性与灵活性。这为语音对话系统的发展提供了新方向，但文章未涉及具体延迟或部署细节，读者需关注后续实证。
Q&A
FAST方法如何提升翻译质量和延迟？
FAST方法通过调整离线ST模型，集成未来信息到推理策略中，解决了离线训练与在线推理的不匹配问题，从而提升了翻译质量和延迟。
AudioPaLM的主要特点是什么？
AudioPaLM结合了PaLM-2和AudioLM，具备优异的语音识别和翻译性能，并能够实现零-shot语音到文字翻译。
OWSM模型解决了哪些问题？
OWSM模型解决了全流程模型开发中的性能、效率、鲁棒性、公正性和偏见等问题，并促进了开放科学。
Pheme模型系列的优势是什么？
Pheme模型系列能够高效生成自然对话式语音，显著降低数据需求，同时与自回归TTS模型的质量相匹配。
AIR-Bench基准的目的是什么？
AIR-Bench基准旨在评估音频语言模型在理解音频信号和与人类互动方面的能力，为未来研究提供方向。
边说边听语言模型（LSLM）如何改善人机交互？
LSLM通过中间融合策略，解决了实时对话中的双向交互问题，显著提升了人机交互的自然性与灵活性。
