内容提要
视频是网络最大负载,浏览器需跨平台硬件加速,但各平台视频API碎片化。Vulkan Video提供统一零拷贝后端,由Khronos协调GPU厂商、FFmpeg与浏览器协作。Firefox 153已实现零拷贝解码;Chromium正推进原生编码,解码随后跟进。该栈还可延伸至嵌入式和车载领域。
延伸解读
统一后端如何解决浏览器视频加速碎片化
浏览器需跨平台运行,传统上要维护VA-API、DXVA、Media Foundation等多个视频加速后端,导致重复投入且部分平台无加速。Vulkan Video将视频编解码作为Vulkan内部队列,复用现有内存与同步框架,使浏览器可用单一后端覆盖多平台。只要GPU装有Vulkan Video驱动,同一套代码即可获得加速,减少维护成本并填补平台空白。
Firefox与Chromium的落地路径差异
Firefox优先补解码:通过FFmpeg导出DMA缓冲区,由GPU进程导入并直接合成,实现零拷贝解码,已随Firefox 153落地。Chromium则优先补编码:基于Vulkan Video Samples构建编码器,服务WebRTC、屏幕共享、WebCodecs等,解码后端仍在开发。两者分别针对最紧迫缺口,但都依赖FFmpeg、驱动和浏览器多层协同。
零拷贝的实际收益与适用场景
零拷贝让帧始终留在GPU内存,从解码到显示或采集到编码都不经过系统内存,设计目标是降低CPU负载、功耗、延迟和内存流量。这对电池供电和散热受限设备尤其重要,可避免视频通话时风扇狂转、轻薄设备播放4K卡顿。但收益取决于GPU驱动是否支持Vulkan Video,目前主要通过厂商驱动覆盖NVIDIA、AMD、Intel,Mesa开源驱动也在跟进。
生态协作的复杂性与延伸价值
Vulkan Video进入浏览器涉及规范、驱动、FFmpeg、参考库和浏览器代码库多层,每层有独立评审与发布节奏,任一层未落地则整体无效。Khronos的一致性测试和Samples库承担了大量繁重工作。同一套栈还可延伸至嵌入式、车载和机顶盒,浏览器严苛的沙箱多进程需求成为其可靠性的佐证,每次改进可惠及所有设备。
Q&A
Vulkan Video 是什么?它和 Vulkan 有什么关系?
Vulkan Video 是 Khronos 推出的视频加速标准,它并非独立的视频 API,而是将硬件视频解码和编码作为 Vulkan 内部的队列加入,复用 Vulkan 驱动已有的内存、同步与调度框架。这些视频功能以扩展形式定义,包括核心视频队列扩展和针对 H.264、H.265、AV1、VP9 解码及 H.264、H.265、AV1 编码的编解码器专用扩展。
为什么浏览器需要 Vulkan Video 这样的统一视频加速后端?
视频是网络上最大的负载,且大部分经过浏览器。浏览器需跨平台运行,传统上必须为每个平台维护不同的视频加速 API(如 Linux 的 VA-API/V4L2、Windows 的 DXVA/Media Foundation、嵌入式厂商 SDK),导致重复投入,且有些平台完全没有视频加速。Vulkan Video 提供统一的零拷贝后端,只要 GPU 装有 Vulkan Video 驱动即可使用,减少了代码和维护成本。
Firefox 是如何实现 Vulkan Video 零拷贝解码的?
Firefox 通过 FFmpeg 解码媒体,运行在沙箱进程中。为实现零拷贝,Khronos 与 Mozilla、FFmpeg 社区合作扩展了 FFmpeg 的 Vulkan 视频解码器,使其能将解码帧导出为 DMA 缓冲区,并附带布局和同步信息。Firefox 新增路径由 GPU 进程导入这些 DMA-buf 并直接交给合成器显示,像素始终留在 GPU 上,从不接触系统内存。该功能已随 Firefox 153 落地。
Chromium 在 Vulkan Video 上的进展如何?它解决了什么问题?
Chromium 此前在 Linux 上完全没有硬件视频编码路径,视频通话、屏幕共享和录制都靠 CPU 软件编码。Khronos 借助 Vulkan Video Samples 库为 Chromium 构建了一个编码器,服务 WebRTC 通话、屏幕共享、WebCodecs、MediaRecorder 和 Cast 五项功能,采集到编码也是零拷贝。目前编码器正在向上游合入 Chromium,解码后端也在开发中。
Vulkan Video 在浏览器中的落地涉及哪些产业协作?
这是一场全行业协作,涉及浏览器软件栈的每一层:Khronos 提供 Vulkan Video 扩展规范和一致性测试;GPU 厂商实现驱动;开源媒体框架 FFmpeg 提供解码器及同步机制;Khronos Vulkan Video Samples 库提供参考编解码器;浏览器自身代码库。Khronos Vulkan Video 子工作组协调工作,由 NVIDIA 工程师牵头,AMD、Intel、Google、Mozilla 和 FFmpeg 社区积极参与。
Vulkan Video 除了浏览器还能用在哪些领域?
同一套 API、驱动、一致性测试和参考库可以从桌面延伸到嵌入式和车载系统,例如车载显示屏、机顶盒和笔记本都能运行同一套视频栈。每一次改进(包括浏览器工作)都能惠及所有这些设备。如果 Vulkan Video 能满足 Firefox 和 Chromium 的沙箱化、多进程架构需求,那么它同样能承载信息娱乐系统、流媒体盒子或会议设备的视频管线。