音视频性能优化：启动速度 / 内存 / 功耗 / 编码延迟全链路调优
内容提要
本文介绍音视频性能优化方法论，涵盖启动速度、内存、功耗及CPU/GPU四个维度。通过测量定位瓶颈，采用预热Session、异步启动、低分辨率渐进提升、Buffer复用、低电量降级、静态场景降帧率等策略，并利用Claude Code工具辅助诊断，实现首帧<300ms、内存<120MB等优化目标。
延伸解读
测量先行：性能优化的黄金法则
文章强调“测量→定位瓶颈→优化→再测量”的循环，指出没有测量就优化如同盲人摸象。这提醒开发者，在动手优化前，应先用工具量化各项指标，如启动耗时、内存占用等，避免凭感觉改动。通过数据驱动，能更精准地找到瓶颈，并验证优化效果，防止引入新问题。
启动速度：预热与渐进式提升的平衡
针对摄像头启动慢，文章提出预热Session、异步启动和低分辨率渐进提升等策略。预热Session需注意隐私指示灯，避免提前startRunning；异步启动配合占位帧可提升感知速度；渐进式提升则先出低清画面再变清晰。这些方法需权衡资源占用与用户体验，开发者应根据场景选择合适组合。
内存优化：警惕泄漏与复用缓冲
文章列出常见内存泄漏点，如CVImageBuffer未释放、CVPixelBufferPool不回收等，并建议使用快照对比检测泄漏。同时，通过Buffer复用和池化可显著降低内存占用。开发者应建立内存追踪机制，定期检查泄漏，并优化缓冲区的生命周期管理，以实现720p推流内存低于120MB的目标。
功耗与CPU：动态降级策略
功耗优化需结合设备状态，如低电量模式或电量低于20%时自动降分辨率、帧率。静态场景检测帧差异，连续相同帧则降低编码帧率。后台时关闭视频编码仅保留音频。CPU优化则通过CBR码率控制、Baseline profile、降低复杂度等减少编码负担。这些策略需在画质与功耗间取舍，适合对实时性要求不高的场景。
Q&A
音视频性能优化通常从哪几个维度入手？
音视频性能优化通常从四个维度入手：启动速度、内存占用、功耗以及CPU/GPU性能。每个维度都有明确的优化目标，例如启动速度要求首帧小于300ms，内存占用要求720p视频小于120MB，功耗要求1小时通话耗电小于15%，CPU编码占用小于30%，GPU渲染占用小于10%。
如何优化摄像头启动速度？
优化摄像头启动速度的方法包括：预热AVCaptureSession（在用户可能打开摄像头之前预先创建并配置会话，但不启动运行以避免隐私指示灯亮起）、异步启动摄像头并先显示占位画面、以及采用低分辨率快速出画面再渐进式提升分辨率。这些方法可以显著减少用户感知的启动延迟。
音视频应用中常见的内存泄漏点有哪些？
常见的内存泄漏点包括：CVImageBuffer未正确释放（如release callback未调用）、CVPixelBufferPool不回收（只alloc不flush）、CMSampleBuffer引用循环（block捕获了CMbuffer且未置nil）、AudioUnit未Uninitialize（只dispose了AudioComponentInstance）、av_frame_alloc后未av_frame_free（decode loop中continue跳过了free）。
在低电量或低功耗模式下，如何调整视频参数以节省电量？
在低电量或低功耗模式下，可以自动降低视频分辨率和帧率，例如从720p降到480p，帧率从30fps降到15fps，同时降低码率。此外，还可以在静态场景下降低帧率（如连续10帧相同则降至5fps），以及在后台时关闭视频编码只保留音频。
Android端编码器性能优化有哪些关键设置？
Android端编码器性能优化关键设置包括：使用CBR码率控制模式（比VBR省CPU）、选择Baseline profile（比High省20% CPU）、设置复杂度为0（最快）、降低帧率（如24fps）、增大I帧间隔（如15秒）。这些设置可以降低CPU占用。
GPU渲染优化有哪些注意事项？
GPU渲染优化注意事项包括：避免在片元着色器中做分支判断、避免使用nearest或bicubic采样器（应使用bilinear）、预先烘焙常量矩阵、预编译渲染管线并缓存MTLRenderPipelineState、避免每帧创建drawable（复用MTKView的currentDrawable）。
音视频性能优化的黄金法则是什么？
音视频性能优化的黄金法则是：测量 → 定位瓶颈 → 优化 → 再测量。没有测量就优化是盲人摸象，必须基于数据来指导优化工作。
