【音视频】视频播放器从 0 到 1
内容提要
本文介绍如何用Claude Code从零构建iOS视频播放器，核心包括Metal渲染管线、FFmpeg解码和精准Seek。系统播放器AVPlayer无法满足私有协议、倍速不变调、帧精确Seek等需求，故自研。Metal渲染通过CVMetalTextureCache零拷贝纹理实现高性能，精准Seek采用关键帧定位加解码至目标帧策略，1080p下每帧渲染仅0.26ms。
延伸解读
自研播放器的适用场景
文章指出，当App需要播放私有协议流、实现倍速不变调、帧精确Seek、自定义渲染或获取解码统计时，系统播放器AVPlayer无法满足需求。这些场景常见于视频编辑、广告插入、多倍速播放等专业应用。如果只是播放普通MP4，AVPlayer仍是更简单可靠的选择。自研播放器工程量主要集中在渲染层，需要权衡开发成本与功能收益。
Metal渲染的关键优化
文章强调，通过CVMetalTextureCache从CVPixelBuffer零拷贝创建Metal纹理，是提升渲染性能的核心。相比OpenGL ES，Metal更接近底层，CPU开销更低，且已被Apple主推。实测数据显示，1080p视频每帧渲染仅需0.26ms，远低于60fps的16.7ms预算，为滤镜、水印等实时处理留出了充足空间。
精准Seek的实现与权衡
精准Seek采用先定位到最近关键帧，再解码至目标帧的策略，耗时约20-100ms，精度可达±1帧。文章还提供了两级Seek方案：先快速显示关键帧画面，后台再精准定位，以平衡响应速度和精度。此外，Seek后必须调用avcodec_flush_buffers清理解码器缓冲，否则会导致画面错误，这是实现中容易忽略的细节。
Q&A
为什么不用系统播放器 AVPlayer 而要自研播放器？
因为 AVPlayer 无法满足一些高级需求，例如播放私有协议流（加密 H.264/自定义封装格式）、倍速播放不变调、帧精确 Seek、自定义渲染（滤镜、水印、画中画）以及获取解码统计信息（帧率、码率、丢帧）。
自研播放器的核心架构包括哪些部分？
核心架构包括解封装（avformat）、解码（avcodec）和渲染（iOS 用 Metal，Android 用 OpenGL ES），以及播放控制层（Play/Pause/Seek/倍速/缓冲/音视频同步）。
为什么选择 Metal 而不是 OpenGL ES 进行渲染？
Metal 在 iOS 上 GPU 利用率更高、CPU 开销更低，支持零拷贝纹理（CVMetalTextureCache），并且是 Apple 主推的技术；而 OpenGL ES 已被 Apple 废弃。
Metal 渲染中如何实现零拷贝纹理？
通过 CVMetalTextureCache 从 CVPixelBuffer（VideoToolbox 解码输出）直接创建 Metal 纹理，避免 CPU 拷贝，从而提升性能。
精准 Seek 的实现原理是什么？
先使用 av_seek_frame 定位到目标时间之前的最近关键帧，然后从该关键帧开始解码，直到解码到目标帧（PTS 接近目标时间）。
Seek 优化策略有哪些？
包括关键帧 Seek（快但不精确）、精准 Seek（慢但精确）、缓存 Seek（保留已解码帧）和两级 Seek（先关键帧显示画面，后台精准 Seek 切换）。
Metal 渲染在 1080p 下的性能表现如何？
1080p 下 Metal 渲染耗时 0.18ms，CVPixelBuffer→纹理零拷贝耗时 0.08ms，总耗时 0.26ms，远低于 60fps 的 16.7ms 预算。
Claude Code 在开发过程中发现了哪些常见问题？
包括 Metal shader 采样器未指定 access::sample、NV12 UV 纹理格式错误（应为 rg8Unorm）、Seek 后未调用 avcodec_flush_buffers、CADisplayLink 回调中解码导致卡顿、av_frame_clone 后未释放内存等。
