实时互动网
·
音视频 iOS 面试题 ｜ 音视频面试题集锦 56 期
内容提要
本文讨论了音视频开发中的关键技术，包括CMSampleBuffer的内存管理、视频硬解码的对齐与步长、音画同步的实现与漂移处理、H.264/H.265编码中的GOP结构及重排延迟，以及Metal与OpenGL ES的纹理转换与零拷贝优化。这些技术对提升音视频开发具有重要意义。
关键要点
-
CMSampleBuffer 的内存管理需要手动使用 CFRetain 和 CFRelease，避免内存泄漏。
-
CVPixelBufferPool 可以减少显存分配开销，实现内存复用，保证处理链路的平滑。
-
视频硬解码要求内存对齐，以利用 CPU 的 SIMD 指令集，步长需正确设置以避免图像错位。
-
音画同步以音频时钟为准，漂移修正策略包括视频追赶、动态重采样和倍速实现。
-
H.264/H.265 编码中的 B 帧依赖导致帧重排延迟，切换分辨率时需及时发送新的 IDR 帧。
-
Metal 与 OpenGL ES 的零拷贝优化通过直接创建纹理，减少内存拷贝，提高性能。
延伸解读
CMSampleBuffer的内存管理
CMSampleBuffer的内存管理是音视频开发中的关键环节。开发者需手动使用CFRetain和CFRelease来管理内存，避免内存泄漏。特别是在异步队列中，发送端和接收端的内存管理必须严格遵循，以确保系统的稳定性和性能。
音画同步的重要性
音画同步是音视频开发中的核心问题，通常以音频时钟为基准。由于人耳对声音的敏感性高于眼睛对视频的敏感性，开发者需要采用有效的漂移修正策略，如动态重采样和视频追赶，以确保用户获得流畅的观看体验。
H.264/H.265编码的挑战
在H.264/H.265编码中，B帧的双向依赖性导致了帧重排延迟，这对实时视频处理构成挑战。开发者在切换分辨率时，必须及时发送新的IDR帧和相关参数，以避免解码器崩溃或图像错误。
零拷贝优化的优势
使用Metal与OpenGL ES进行纹理转换时，零拷贝优化可以显著提升性能。通过直接创建纹理，避免了不必要的内存拷贝，节省了GPU的带宽和功耗。这对于高效处理YUV数据尤为重要，能够提升整体音视频处理效率。
延伸问答
CMSampleBuffer的内存管理有哪些注意事项？
CMSampleBuffer需要手动使用CFRetain和CFRelease进行内存管理，以避免内存泄漏。
视频硬解码中步长的设置有什么重要性？
步长必须正确设置以避免图像错位，且内存的起始地址需对齐以利用CPU的SIMD指令集。
音画同步的实现策略有哪些？
音画同步通常以音频时钟为准，漂移修正策略包括视频追赶、动态重采样和倍速实现。
H.264/H.265编码中的B帧会导致什么问题？
B帧的双向依赖导致帧重排延迟，可能造成图像错误累积，直到下一个I帧到来才能消除。
Metal与OpenGL ES的零拷贝优化是如何实现的？
零拷贝通过CVMetalTextureCacheCreateTextureFromImage直接基于CVPixelBuffer的内存创建纹理，避免了显式的内存拷贝。
CVPixelBufferPool的作用是什么？
CVPixelBufferPool可以减少显存分配开销，实现内存复用，保证处理链路的平滑。
