论文指出,大模型Decode阶段受显存带宽限制,GPU计算单元大量闲置,Tensor Core活跃率仅约6%~11%,而现有CUDA优先级、MIG等机制缺乏微秒级抢占和精细资源调度。作者提出六层GPU OS架构,统一调度算力、带宽、缓存等资源,并需编译器将Kernel切分为可暂停片段。实验显示后台任务可利用约24%算力,前台推理性能仅降1.6%。未来还需芯片厂商支持微秒级抢占、显存优先级和动态分区。
完成下面两步后,将自动完成登录并继续当前操作。