会议 ASR 的下一站：让大模型自己学会听懂会议
内容提要
会议ASR大模型需直接处理真实会议中的远场、混响、噪声、重叠说话及术语等复杂情况，而非依赖外部前端。模型应内生声学鲁棒性、多说话人结构、长上下文理解和克制生成能力，输出含说话人、时间戳的结构化记录，以支撑摘要、问答等上层应用，减少误差传播。
延伸解读
从模块化到内生能力：误差传播的减少
传统会议转写依赖长pipeline，每个模块都可能引入误差并向后传播。大模型路线将声学鲁棒性、多说话人结构等能力内化，减少对外部前端的依赖，从而降低模块间误差累积。但文章强调这并非否定前端价值，而是产品边界和模型能力边界正在变化，更多复杂性被吸收进统一训练目标。
结构化输出：会议记录的关键升级
会议ASR的理想输出不仅是纯文本，而是包含说话人、时间戳、重叠片段和置信度信息的结构化记录。这种输出才能支撑摘要、行动项提取等上层应用。文章举例说明，带时间戳和说话人归属的转写比单纯文本更符合会议智能体的需求，也便于追溯和校对。
克制生成：避免幻觉是可靠性的基石
ASR大模型作为生成模型，需避免在听不清时自由发挥。会议转写更重可靠性而非流畅度，模型应表达不确定、保留时间锚点，并将低置信度位置交给人工校对。文章指出，听不清时编造流畅但错误的内容，会让后续总结建立在错误事实上，因此克制生成是会议ASR的关键能力。
Q&A
会议ASR大模型相比传统pipeline方案有什么优势？
传统pipeline方案依赖多个模块（如VAD、分离、说话人分割等），每增加一个模块就多一层误差传播，且对场景变化敏感。会议ASR大模型将声学鲁棒性、多说话人结构、长上下文理解和克制生成等能力内生到模型中，直接从原始音频生成结构化转写，减少模块间误差传递，提升通用性和稳定性。
真实会议音频有哪些难点？
真实会议音频难点包括：远场导致声音能量减弱、房间反射使语音边界模糊、背景噪声（空调、键盘等）掩盖短词和辅音、设备差异改变音色和频响、多人插话和重叠说话破坏单说话人假设、长会议带来跨段一致性问题，且这些因素常同时出现。
会议ASR大模型需要具备哪些核心能力？
核心能力包括：1. 声学鲁棒性，能应对距离、混响、噪声等变化；2. 多说话人结构，能处理插话、重叠并输出说话人变化和时间戳；3. 长上下文理解，利用上下文准确识别术语并保持一致；4. 克制，在听不清时不乱编，保留不确定性和时间锚点。
会议ASR的理想输出格式是什么？
理想输出是结构化记录，包含谁说了什么、什么时候说、是否存在重叠、低置信度位置和领域术语标记。例如：[时间戳] Speaker A: 文本。这种格式能支撑摘要、行动项提取、问答等上层应用。
为什么说会议ASR大模型不是否定传统前端？
因为传统前端技术（如语音增强、分离、说话人分割等）仍然有效，但产品边界和模型能力边界在变化。大模型路线强调将更多复杂性吸收到统一训练目标中，减少模块间误差传递，而不是完全抛弃前端。
会议ASR大模型的研究趋势有哪些？
研究趋势包括：1. 多说话人输出，如Serialized Output Training；2. 说话人条件注入，如DiCoW和SE-DiCoW；3. 统一生成，如TagSpeech将ASR和diarization合成一个任务。此外，Qwen-Audio-3.0-ASR等表明ASR进入更大音频Foundation Model阶段。
