字节跳动 Seed 正式推出原生音视频全双工大模型 SeedRealtime
内容提要
字节跳动推出原生音视频全双工大模型SeedRealtime，采用统一架构融合音频、视频与文本，实现边看、边听、边说。该模型支持音视频联合理解、主动交互和流畅节奏，减少对话卡顿，已在豆包App上线。未来将优化延迟、多人场景和工具调用。
延伸解读
技术路线对比：级联与端到端的取舍
文章指出，此前音视频交互多采用级联系统，依赖ASR、VLM、TTS等模块串联，延迟高且信息损耗大；而端到端模型虽更流畅，但不少方案仍依赖外置VAD，接近半双工。SeedRealtime将声音、画面、时序统一到同一模型，实现全双工交互。这反映了行业从模块拼接向统一建模演进的趋势，但级联方案在模块独立优化和灵活性上仍有优势，端到端模型则对数据量和训练要求更高。
实际体验中的关键改进点
据文章，SeedRealtime在端到端人工评测中，音视频对话节奏问题比级联模型减少一半，具体表现为“话未说完被抢断”“回应迟缓”“被背景杂音误触发”等卡壳现象显著减少。这意味着用户在实际使用中，对话更自然流畅，模型能更好把握接话时机，抗干扰能力增强。但评测为人工结果，实际效果可能因场景而异，需用户自行体验验证。
未来挑战与落地场景
文章明确列出未来突破方向：降低延迟、提升主动感知、应对多人复杂场景、打通工具调用。这表明当前模型在嘈杂环境、多人对话等真实场景中仍有局限，且尚未实现“能行动”。目前SeedRealtime已在豆包App上线，但仅支持视频通话场景，未来若实现工具调用，可能拓展到查询、预订等任务，但具体时间表和功能未提及。
Q&A
SeedRealtime 是什么？
SeedRealtime 是字节跳动 Seed 推出的原生音视频全双工大模型，采用统一架构原生融合音频、视频与文本，支持边看、边听、边说，实现音视频联合理解、主动交互和流畅节奏。
SeedRealtime 相比级联模型有哪些优势？
相比级联模型，SeedRealtime 的音视频对话节奏问题减少了一半，模型对说话时机的把握更自然，显著减少了话未说完被抢断、回应迟缓、被背景杂音误触发等卡壳现象，同时单次对话完整顺畅交流的概率明显提升。
SeedRealtime 如何实现音视频联合理解？
SeedRealtime 通过统一架构原生融合声音、画面与时序信息，实现音视频联合理解。模型能结合场景消解同音词歧义，准确理解视觉中的时序指代，将所见、所闻与所说融为一体。
SeedRealtime 的主动交互能力体现在哪些方面？
SeedRealtime 具备持续的环境感知与主动表达能力，能在察觉画面状态变化（如关键目标出现）时主动提醒，并能调用工具融入表达，使交互从被动响应升级为主动协作。
SeedRealtime 如何保证流畅的交互节奏？
SeedRealtime 能够实时感知用户的对话状态与交流节奏，在适当时机自然接话、停顿与回应；同时具备较强的抗干扰能力，能分辨旁人闲聊与背景噪声，不因干扰误触发，保持沟通流畅连贯。
SeedRealtime 目前在哪里可以体验？
SeedRealtime 已在豆包 App 全量上线，用户将豆包 App 更新至最新版本，在对话框内选择“打电话”，进入视频通话界面即可体验。
SeedRealtime 未来有哪些改进方向？
未来 SeedRealtime 将在以下方面继续突破：更低的延迟与更自然的节奏、更主动的感知与决策、更稳健的多人复杂场景，以及从“能对话”到“能行动”，打通工具调用与现实世界的连接，协助用户完成查询、预订与任务办理。
SeedRealtime 在技术上有哪些难点？
技术难点包括：对话节奏的把握，因为视频持续变化，模型需不断理解画面并避免被背景噪声干扰；音视频的联合建模与时序对齐，例如理解用户说“这个怎么弄”时“这个”的指代，以及借助视觉场景消解同音词歧义。
