RTP 抖动详解：语音 AI 平台如何解决它
内容提要
RTP抖动是互联网语音通话卡顿、断续的主因，因音频无法重传。语音AI对抖动更敏感，因延迟会叠加至ASR、LLM等环节。解决需八层协同：静态/自适应抖动缓冲、数据包重排、丢包隐藏、前向纠错、时间戳同步、QoS及智能路由。权衡在于降抖动与降延迟矛盾，语音AI偏向低延迟以保对话自然。
延伸解读
为什么语音AI对抖动更敏感
语音AI不仅需要播放音频，还要经过ASR、LLM、TTS等处理链。一次网络抖动导致的40ms延迟，会叠加缓冲、识别、生成等环节，最终可能带来近100ms的额外延迟，直接影响对话的自然度。因此，语音AI平台在抖动控制上比传统电话要求更高。
八层方案并非孤立选择
解决抖动不能依赖单一技术，而是需要八层协同：从静态/自适应缓冲、数据包重排、丢包隐藏、前向纠错，到时间戳同步、QoS和智能路由。每层针对不同问题，生产系统会综合运用，而非只选其一。例如，FEC仅适用于Opus，而PCMU等中继编解码器只能依赖PLC。
权衡：低延迟与低抖动不可兼得
降低抖动需要增大缓冲，但这会增加延迟；反之，减小缓冲可能增加丢包。ITU-T G.114建议单向延迟上限150ms，语音AI平台通常偏向低延迟，即使容忍略高丢包，也要保证对话的实时响应。这种权衡是设计实时语音系统时必须考虑的核心矛盾。
Q&A
什么是RTP抖动？
RTP抖动是指网络上传输的语音数据包到达时间的差异。本应每20ms到达一个的包，却会提前、迟到或乱序出现，导致实时通话中出现音频卡顿、中断或机器人般的语音。
VoIP通话中的抖动通常由什么原因引起？
抖动几乎总是网络造成的，而非音频编解码器。常见原因包括路由器队列拥塞、WiFi重传、LTE/5G调度延迟、MPLS重路由，以及通话两端CPU或虚拟机的调度延迟。
为什么语音AI比传统电话对抖动更敏感？
因为语音AI在音频流背后还有ASR、LLM、TTS等处理环节，一个迟到的数据包会导致下游所有环节延迟叠加，可能产生近100ms的额外对话延迟，影响对话的自然度。
如何修复实时音频中的抖动？
生产系统采用分层方案：自适应抖动缓冲、数据包重排、丢包隐藏（PLC）、前向纠错（FEC）、RTP时间戳同步、网络QoS和智能路由协同工作。
抖动缓冲会增加延迟吗？
会。任何抖动缓冲都会有意延迟播放，让迟到的包有时间赶上来。语音AI平台会谨慎调校缓冲大小，在更流畅的音频和更高的对话延迟之间做平衡。
抖动和丢包有什么区别？
抖动是数据包到达时间的差异，而丢包是数据包根本没到达。生产系统对两者的处理方式不同：抖动靠缓冲和重排，丢包靠隐藏或前向纠错。
前向纠错（FEC）在语音通话中是如何工作的？
FEC在原始数据流之外额外发送冗余数据（如校验包），如果某个数据包丢失，接收端可以直接从校验数据中重建它，而不是靠隐藏。Opus原生支持FEC，但代价是增加带宽。
为什么语音AI平台在抖动与延迟的权衡中偏向低延迟？
因为一个响应及时的对话比一个完美无瑕的对话更重要，所以语音AI平台会刻意偏向低延迟，即使这意味着容忍略高的丢包概率。
