GPU 也需要操作系统?AI 算力竟然有 90% 在摸鱼!

GPU 也需要操作系统?AI 算力竟然有 90% 在摸鱼!

💡 原文中文,约7800字,阅读约需19分钟。
📝

内容提要

论文指出,大模型Decode阶段受显存带宽限制,GPU计算单元大量闲置,Tensor Core活跃率仅约6%~11%,而现有CUDA优先级、MIG等机制缺乏微秒级抢占和精细资源调度。作者提出六层GPU OS架构,统一调度算力、带宽、缓存等资源,并需编译器将Kernel切分为可暂停片段。实验显示后台任务可利用约24%算力,前台推理性能仅降1.6%。未来还需芯片厂商支持微秒级抢占、显存优先级和动态分区。

🔎

延伸解读

闲置算力的根源:Decode 阶段受限于显存带宽

文章指出,大模型推理的 Decode 阶段每生成一个 Token 都需要读取大量模型权重,而显存带宽增长远慢于计算能力,导致 Tensor Core 大量时间处于等待状态。实测 Qwen3.5-397B 和 Kimi K2 的 Tensor Core 活跃率仅约 6%~11%。这意味着 GPU 算力闲置并非偶发,而是由计算与访存比失衡造成的结构性现象,单纯增加 GPU 数量难以解决。

现有隔离机制不足:缺乏微秒级抢占与全资源管理

CUDA Stream Priority 无法立即中断已启动的低优先级 Kernel,实验显示 1 毫秒后台任务可能让前台延迟放大 10 倍,MI300X 上甚至需等待 200 毫秒。MIG 分区固定且可能需重置 GPU,Green Context 仅限制 SM 数量,难以解决显存带宽和缓存竞争。这些机制只管理部分资源,而真实竞争涉及计算单元、L2 Cache、显存、PCIe 等多维资源,因此需要更完整的调度体系。

实验验证调度潜力,但真实后台负载仍待检验

论文用 Green Context 回收约 23% 资源时前台延迟增 5.1%,而真实 FP8 GEMM 仅回收约 9%,说明缓存和显存竞争会限制回收效果。Resident Kernel 在 16 请求下回收约 24% 算力,前台性能仅降 1.6%。但需注意,后台任务是寄存器驱动的合成矩阵计算,并非完整训练或评估负载,该结果证明的是调度机制潜力,而非当前即可无损共享 24% GPU。

落地依赖芯片与编译器协同,六层架构尚未完整实现

GPU OS 需要编译器将 Kernel 切分为可暂停、可恢复的短片段,并声明资源需求,Triton、CUTLASS 等需承担更多责任。硬件层面还需微秒级抢占、显存与缓存优先级、动态分区等能力。论文坦承六层架构尚未全部实现,现有研究主要覆盖 L1~L3 部分能力,成本模型和准入控制仍属未来设计,距离通用 GPU OS 仍有较长距离。

❓

Q&A

为什么大模型推理时GPU的Tensor Core利用率只有6%~11%?

因为大模型Decode阶段是典型的Memory-bound问题:每生成一个Token都需要读取大量模型权重,而显存带宽增长跟不上计算能力增长,导致Tensor Core大部分时间在等待数据,无法持续执行矩阵运算。

现有的CUDA Stream Priority、MIG等GPU调度机制为什么不够用?

这些机制无法提供微秒级抢占和精细资源调度:Stream Priority不能立即中断正在运行的低优先级Kernel;MIG分区固定且重划分可能需重置GPU;Green Context只能限制SM数量,无法解决显存带宽和缓存竞争。它们通常只管理部分资源,而GPU需要统一管理计算单元、显存带宽、缓存、设备内存、PCIe、NVLink等多维资源。

论文提出的GPU操作系统六层架构具体包括哪些层?

从底层向上依次为:L0芯片硬件能力(任务信号、队列、快速暂停、内存优先级);L1 Kernel执行规范(Kernel可暂停、恢复并声明资源需求);L2 GPU内部调度器(分配执行片段到SM);L3资源管理器(管理显存带宽、缓存、数据传输);L4资源成本模型(预测后台任务对前台的影响);L5任务准入控制(决定后台任务能否进入及资源量)。

如何让GPU上的Kernel任务可以被操作系统调度?

需要编译器将Kernel切分成短小、可暂停、可恢复的执行片段,每个片段执行时间足够短、能在安全位置暂停、保存必要状态、稍后恢复,并声明对计算资源、显存带宽和缓存的需求。论文提到Triton和CUTLASS等编译器需要从同一份源代码生成适应不同资源分区的版本,并附带时间限制、安全暂停点和资源使用声明。

论文中GPU算力回收实验取得了什么效果?

使用Green Context时,后台合成任务可回收约23% GPU资源,前台延迟增长约5.1%;真实FP8 GEMM任务仅回收约9%,延迟增长约4.7%。采用Resident Kernel方案,单请求下回收22%资源,前台性能仅降0.3%;16个请求下回收约24%资源,前台推理性能仅下降1.6%。但后台任务是合成矩阵计算,并非真实训练或评估负载。

要实现真正的GPU操作系统,芯片厂商还需要提供哪些支持?

芯片厂商需要提供:微秒级任务暂停能力(后台任务能在5~20微秒内暂停并恢复,无需重启整个Kernel);显存和缓存优先级(前台推理任务在L2 Cache和显存控制器中获得更高优先级);动态硬件分区(支持更细粒度的Kernel级资源分配)。此外还需硬件内部指令调度优先级、设备队列、精细化性能监控以及数据传输和功耗QoS等能力。

🏷️

标签

➡️

继续阅读