Whispy：将 STT Whisper 模型调整至实时环境
内容提要
Whisper-Streaming 是一种基于 Whisper 的实时语音转录和翻译模型，具有 3.3 秒的低延迟。研究提出了 DistilWhisper 方法，通过轻量级微调提升 ASR 性能，并分析了 Whisper 输出，展示了不同训练策略对模型性能的影响，探讨了其在儿童语音上的适应性。所有研究成果和代码已公开。
延伸解读
实时转录的低延迟实现
Whisper-Streaming 通过本地协议和自适应延迟策略，将实时转录延迟控制在 3.3 秒，适用于多语言会议场景。这表明 Whisper 模型经过适当调整后，能够满足实时性要求较高的应用，为后续的流式语音处理提供了可行方案。
性能偏差与针对性优化
研究发现 Whisper 在少数语言上的性能问题与讲话者特征及模型偏差有关。DistilWhisper 方法通过轻量级微调和知识蒸馏，在保留多任务和多语言预训练鲁棒性的同时，有效提升了目标语言的 ASR 性能，且参数开销可忽略。
解码行为调整与儿童语音适应
通过精细调整和软提示调整，可以改变 Whisper 的解码行为，生成更准确的单词。在儿童语音上，微调 Whisper 显著提高了 ASR 性能，但微调后的 wav2vec2 模型甚至超过了 Whisper 的效果，提示不同模型在特定场景下各有优势。
开放资源与鲁棒性验证
OWSM 项目公开了所有脚本、预训练模型和训练日志，以促进开放科学。同时，Whisper 在 ASR 和其他语音任务中展现出泛化性和嘈杂环境下的鲁棒性，证明了其实际应用价值，为后续研究提供了可复现的基础。
Q&A
Whisper-Streaming 模型的主要特点是什么？
Whisper-Streaming 是一种实时语音转录和翻译模型，具有 3.3 秒的低延迟。
DistilWhisper 方法是如何提升 ASR 性能的？
DistilWhisper 通过轻量级微调和知识蒸馏策略提升 ASR 性能，同时保留多任务和多语言预训练的鲁棒性。
Whisper 模型在儿童语音上的表现如何？
对 Whisper 模型进行微调显著提高了儿童 ASR 性能，且与基于自监督模型的 wav2vec2 进行比较，结果显示 wav2vec2 的效果更佳。
Open Whisper-style Speech Model (OWSM) 的目的是什么？
OWSM 旨在解决模型开发中的性能提升、效率、鲁棒性、公正性和偏见问题，并公开所有相关资源。
Whisper 模型在嘈杂环境中的表现如何？
Whisper 模型在嘈杂环境下表现出色，具有良好的鲁棒性，证明了其实际应用价值。
如何通过知识蒸馏框架改进语言模型的性能？
通过音频-语言知识蒸馏框架，将声学和语用信息转移到学生语言模型，从而改进传统语言模型在分析口述文本任务上的性能。
