大模型时代的ASR就是不一样！豆包“听力”水平现场评测，方言&小朋友口音直接拿捏！
内容提要
2024 火山引擎 AI 创新巡展上海站展示了豆包大模型在综合评分、语音识别等方面的效果提升，并发布了对话式 AI 实时交互解决方案。豆包大模型团队成果 Seed-ASR 提供了语音识别能力支持，能准确转录各种语音信号，识别不同语言、方言、口音。豆包 APP 月活用户数已达 2752 万。火山引擎整合了云服务的实时音视频技术，使 AI 语音交互能像人类说话一样打断和插话。Seed-ASR 已在豆包 APP 中应用，并在语音交互、内容审核、会议访谈转写、音视频字幕等场景有落地。
延伸解读
上下文理解如何提升识别准确率
Seed-ASR 基于大语言模型，能结合文本和语音上下文进行推理。例如，在会议中可识别新参会者人名，在字幕编辑中自动关联专业术语。这种能力减少了同音词和生僻词的误转写，且随着上下文信息增多，后续转录正确率会进一步提高。
All-in-One 设计带来的泛化优势
传统 ASR 需为每个领域训练专用模型，脱离场景后性能下降。Seed-ASR 采用 All-in-One 思路，一个模型即可适应多种场景，简化了部署。其泛化性源于大模型 Scaling Laws，通过扩大参数量和数据量，模型能处理未见过的领域和口音。
分阶段训练与强化学习的作用
Seed-ASR 训练包括自监督学习、监督微调、上下文微调和强化学习。强化学习阶段使用加权单词错误率作为奖励，让模型更关注关键词错误。这种分阶段方式既保证了高精度识别，又增强了上下文推理能力，同时通过联合波束搜索缓解了幻觉问题。
实际应用与性能表现
Seed-ASR 已集成到豆包 APP 和火山引擎服务中，用于语音交互、内容审核、会议转写等场景。在中英文公开测试集上，其单词错误率比此前大型 ASR 模型降低 10%-40%。主观评价显示，在直播、视频、会议场景中，其可理解性甚至优于人类转录员。
Q&A
豆包大模型在语音识别方面有哪些提升？
豆包大模型在语音识别方面的综合能力提升了20.3%，角色扮演能力提升了38.3%。
Seed-ASR技术的主要特点是什么？
Seed-ASR具备高精度识别、多语言支持、上下文感知能力和分阶段训练方法等特点。
豆包APP的用户活跃情况如何？
豆包APP的月活跃用户数已达2752万，是同类APP中的第一名。
Seed-ASR如何处理方言和口音？
Seed-ASR能够识别多种方言和口音，包括普通话、粤语、四川话等，且在方言夹杂的语音中也能准确识别。
火山引擎如何提升AI语音交互的自然性？
火山引擎整合了云服务的实时音视频技术，使AI语音交互能够像人类一样自然地打断和插话，端到端延时可低至1秒。
Seed-ASR的训练过程包括哪些阶段？
Seed-ASR的训练过程包括自监督学习、监督微调、上下文微调和强化学习等阶段。
