WebRTC 音频对讲总体架构：声音怎样从麦克风到达远端扬声器？
内容提要
文章梳理WebRTC音频对讲完整链路：麦克风PCM经ADM采集，APM进行3A处理（AEC需本机播放参考），再由Opus编码并通过RTP/SRTP传输；接收端由NetEq处理乱序丢包并输出连续PCM，播放设备主动拉取，经混音重采样后输出。强调区分PCM块、编码包与RTP包，排查延迟需分段测量，并给出分阶段验证闭环的方法。
延伸解读
理解音频链路的三个关键分界
文章强调编码前后数据形态不同：编码前是PCM，编码后是受保护的RTP报文。同时，采集是数据到达后主动推送，播放是设备按需拉取，两者节拍独立。此外，10ms是内部处理粒度，不代表硬件中断或网络发送间隔。混淆这些分界容易误判问题来源，例如把网络正常但无声归咎于传输，而实际可能是采集或播放环节故障。
回声消除依赖本机播放参考
AEC需要本机扬声器即将播放的PCM作为参考信号，而非网络收到的压缩包。参考信号应覆盖实际播放内容及其时间关系，若在参考点后增加混音或增益，需重新核对对应关系。硬件AEC与软件AEC也需统筹配置，避免重复处理。这解释了为何仅开启AEC开关不一定有效，参考路径的完整性至关重要。
延迟排查需分段测量并区分时钟问题
端到端延迟由采集缓冲、处理组包、网络传输、接收缓冲、解码播放等多段组成，各段起止点应互不重叠。队列积压应按音频时长换算，而非内存大小。此外，设备间采样时钟偏差会导致缓冲长期漂移，NetEq可处理正常工作范围内的偏差，但无法掩盖错误配置。AEC的本机延迟参数与网络RTT是不同概念，不可混用。
分阶段验证建立可重复的音频闭环
建议按本地采集回放、单向媒体、反向媒体、双向连续、扬声器全双工、网络与负载变化的顺序逐步验证，每一步保留证据。例如先确认PCM格式与播放节拍，再检查编码包与RTP对应关系。测量口到耳延迟需统一时间基准，避免直接相减系统时间。这种闭环方法能帮助定位问题发生在哪一级，而非仅凭“能听见”判断。
Q&A
WebRTC音频对讲中，麦克风采集的PCM数据需要明确哪些参数才能被正确处理？
至少需要明确四项：采样率（如48 kHz）、声道数（单声道或双声道）、样本格式（如有符号16位整数或浮点数）、布局与连续性（交错或平面布局，以及样本位置和时间信息）。
为什么AEC需要本机播放的参考信号？这个参考信号从哪里获取？
AEC需要参考信号是因为要消除本机扬声器播放的声音被本机麦克风再次采集形成的回声。参考信号取自本机播放PCM路径，在Native路径中，AudioTransportImpl::NeedMorePlayData()产生播放PCM后，通过ProcessReverseAudioFrame()送入APM作为回声参考。
NetEq在接收端的作用是什么？它如何将不规则的网络包转换为连续播放的PCM？
NetEq是自适应抖动缓冲与音频恢复模块，负责管理包、时间戳与冗余信息，估计缓冲目标，调用解码器并管理已解码PCM，处理丢包掩盖、舒适噪声生成和时间伸缩。它通过InsertPacket()接收编码负载，通过GetAudio()按播放需求输出10 ms PCM，从而将乱序、丢包的网络包恢复为连续音频。
WebRTC音频对讲中，RTP时间戳和序号分别起什么作用？对于Opus编码，20ms音频的RTP时间戳增量是多少？
RTP序号标识报文先后关系，便于识别乱序与缺口；RTP时间戳描述媒体采样时间轴上的位置。对于Opus，RTP时间戳采用48 kHz时钟，20 ms对应的增量是960（48000×0.020）。
排查WebRTC音频对讲延迟时，应该如何分段测量？口到耳延迟包括哪些部分？
口到耳延迟可拆分为：采集与输入缓冲、样本分块与音频处理及编码组包等待、发送调度与网络传输、接收等待与音频恢复及解码、混音与输出缓冲及设备播放。测量时应确保各段起止点互不重叠，避免重复计算。
在WebRTC音频对讲中，PLC、FEC和NACK分别如何应对网络丢包？它们的能力边界是什么？
PLC（丢包掩盖）利用已有音频和解码器状态合成替代样本，维持连续听感但不恢复原始波形；FEC（前向纠错）利用发送端附带的冗余信息恢复丢失包，但冗余必须存在且及时到达；NACK（重传）由接收端请求重发缺失数据，需要配置和传输支持，且重传需赶上播放需求。
为什么WebRTC音频对讲中，即使网络连接成功，远端仍可能听不到声音？
因为网络连接（如ICE、DTLS）只解决报文传输条件，不能保证麦克风采到有效声音、音频处理链正常工作、编码发送或远端播放设备已开启。需要检查采集、处理、编码、传输、接收恢复和播放各环节。
WebRTC音频对讲中，播放设备如何获取PCM数据？混音器和重采样器的作用是什么？
播放设备通过AudioDeviceBuffer请求播放数据，进入AudioTransportImpl::NeedMorePlayData()，进而调用混音器。混音器向各音频源（如接收流）拉取PCM，接收流从NetEq取得音频。混音器将多路音频合成为输出信号；重采样器解决不同处理阶段采样率转换，声道适配处理格式关系。
