音视频同步没那么简单
内容提要
本文阐述音视频同步（A/V同步）的原理与实现，指出采集、编码、网络、渲染等环节均可能引入偏差。核心采用“音频主时钟”策略，视频追赶音频，通过PTS比较判定渲染、等待或丢帧。提供C核心代码及Swift封装，并给出PTS生成规范、调试工具和实战案例，最终将180ms偏差降至10ms内。
延伸解读
同步策略的选择依据
文章介绍了三种同步策略：音频主时钟、视频主时钟和外部时钟。音频主时钟最常用，因为人耳对音频断续更敏感，适用于实时通话和直播；视频主时钟适用于视频编辑等场景，保证视频帧完整；外部时钟则用于多路流混合或直播，需要统一的时间基准。选择时需根据应用场景权衡音频连续性和视频完整性。
PTS 生成与补偿的常见陷阱
PTS 必须基于同一时间基准，否则音视频会漂移。文章指出常见问题包括：音频编码器 priming 延迟（如 AAC 约 44ms）未补偿、视频 B 帧重排序引入延迟、播放缓冲 warmup 等。实战案例中，这些因素累计导致 180ms 偏差，通过补偿 priming、关闭 B 帧、预填充缓冲，最终将偏差降至 10ms 以内。
调试与监控的重要性
文章提供了调试工具，可实时记录 A/V 偏差并生成报告，包括平均偏差、最大偏差和不同步比例。这有助于定位问题环节。同时，文章提醒使用单调时钟（如 mach_absolute_time）而非 gettimeofday，避免系统时间调整影响同步判断。
Q&A
音视频同步中，为什么通常采用音频主时钟策略？
因为人耳对音频断续比视觉对视频断续更敏感，音频必须连续播放，所以采用音频主时钟策略，让视频追赶音频。
音视频不同步的常见原因有哪些？
常见原因包括采集端PTS不准确、编码缓冲延迟（如AAC编码的priming samples）、网络抖动、解码延迟、渲染缓冲（如AudioQueue warmup）等，这些环节都可能引入偏差。
如何判断视频帧是应该渲染、等待还是丢弃？
根据视频帧PTS与音频时钟的偏差判断：若视频超前超过50ms则等待，若落后超过10ms则丢弃，若在[-10ms, +50ms]范围内则立即渲染。
音视频同步中PTS生成有哪些规范？
音频PTS基于采样数计算，视频PTS基于帧率计算，且音视频PTS必须基于同一时间基准，同时reset。
如何调试音视频不同步问题？
可以使用AVSyncDebugger工具记录偏差并生成报告，报告包含平均偏差、最大偏差、不同步比例等，帮助定位问题。
在实战案例中，180ms音视频不同步是如何修复的？
通过检查发现AAC编码的priming samples、H.264 B帧重排序、AudioQueue warmup等共约189ms延迟，修复措施包括补偿AAC priming、关闭B帧、预填充AudioQueue，最终偏差降到10ms以内。
音视频同步策略有哪些？各适用于什么场景？
有音频主时钟、视频主时钟、外部时钟三种策略。音频主时钟适用于实时通话和直播；视频主时钟适用于非实时播放和视频编辑；外部时钟适用于多路流混合和多方通话。
