内容提要
文章介绍在16GB显存的RTX 5060 Ti上运行16.46GB的Qwen3.8-27B Q4_K_M模型:仅将682MB词嵌入表留在内存,其余主干权重与输出头全部驻留显存以避免换页;对757个解码算子逐一定时,实施RMSNorm寄存器预取、Q6_K/IQ3_S零共享内存算子、硬件FP16转换、Gated DeltaNet双行流水线、精简冗余节点并启用轮询同步五项CUDA优化。最终解码达24.94 tok/s,反超llama.cpp约3.4%,生成Token与Logits逐位一致。
延伸解读
异构切分的取舍逻辑
文章对比了两种显存不足时的方案:按层卸载末尾FFN会导致每Token耗时55ms以上,速度降至15-18 tok/s;而只将682MB的token_embd.weight留在内存,每步仅传输20KiB,主干与输出头全驻显存,最终达到24.94 tok/s。这说明切分点应选在访问稀疏、传输量极小的张量上,而非按层均匀卸载。
共享内存并非总是加速手段
作者最初仿照传统mmvq将激活向量放入共享内存,结果速度从23.19跌至17.85 tok/s。冷显存微基准显示,Q4_K等4字节对齐格式的原算子已达硬件带宽的90%以上,而动态共享内存占用会削减SM驻留CTA数,降低Occupancy。在Blackwell架构单并发GEMV中,28KB激活走__ldg已能命中L1,强行共享反而有害。
量化格式对齐决定优化重点
文章指出Q4_K、Q5_K、IQ4_XS超块长度为4的倍数,原算子已接近带宽峰值;而Q6_K(210字节)和IQ3_S(110字节)仅2字节对齐,奇数超块落在4n+2偏移,导致带宽只有276-319 GB/s。针对这两种格式设计零共享内存、32线程协同读超块的算子后,Q6_K输出头带宽从319.3提升至406.2 GB/s,单算子省0.70 ms/tok。
速度提升未牺牲数值一致性
五项优化后,129个贪婪采样Token ID与llama.cpp完全重合,SHA256一致;70 Token预填充的最终Logits也与逐Token路径逐位相等。作者在RMSNorm预取、FP16转换等改动中保留了IEEE 754严格舍入内建函数,44项单元测试全部通过。这表明底层算子优化可以在不改变输出结果的前提下换取吞吐提升。
Q&A
16GB显存的RTX 5060 Ti怎么跑得动16.46GB的Qwen3.8-27B Q4_K_M模型?
关键是把682MB的token_embd.weight词嵌入表留在主机内存(只读mmap),其余64层主干权重和1.04GB的output.weight全部常驻显存。因为词嵌入表每次只按Token ID查1行(20KiB),PCIe传输可忽略;而主干和输出头是稠密读取,必须留在GPU。这样静态权重14.33GiB加动态工作区约200MiB,显存刚好装下且留有约195MiB余量,全程0换页。
为什么把最后几层Transformer Block卸载到CPU内存反而会严重掉速?
因为按层卸载会让每步解码在GPU算完前60层后,把激活值拷回内存,等CPU用约60GB/s的双通道DDR5跑完最后几层FFN,再同步回GPU算output.weight。这一来一回的CPU计算加PCIe同步开销,把单Token耗时拉长到55ms以上,解码速度掉到15~18 tok/s。相比之下,只卸载词嵌入表每步仅需传20KiB,代价极小。
照搬共享内存的mmvq算子为什么反而让解码速度从23.19掉到17.85 tok/s?
在Blackwell(sm_120)架构下,5120维激活向量只有28KB,通过__ldg只读缓存加载已100%命中L1 Cache,不需要搬进共享内存。强行申请23.9KB动态共享内存会把每个SM的驻留CTA数砍半,Occupancy腰斩,无法用Warp切换掩盖显存延迟;同时把Warp拆成8线程一组读超块会破坏显存事务合并,带宽掉约四分之一。实测Q4_K等算子原本已达硬件峰值90%以上,共享内存版本反而更慢。
Q6_K和IQ3_S量化格式为什么带宽上不去,怎么优化?
Q6_K超块210字节、IQ3_S超块110字节,都只能被2整除,奇数超块落在4n+2半字偏移上,无法用32位向量指令读取,且Warp分散读取易跨128B缓存行分裂。优化方案是零动态共享内存、32线程全Warp协同读同一超块(w32)、用内联移位拼装处理奇偶偏移,并对rows>=4096的大矩阵启用w32 mmvq。结果Q6_K输出头从319.3 GB/s提升到406.2 GB/s,单算子省0.70 ms/tok,IQ3_S FFN Down省0.12 ms/tok,合计省0.95 ms/tok。
RMSNorm算子处理20KiB数据为什么要花16.81微秒,怎么优化?
原实现用单个CTA(256线程)循环20轮,第一遍求平方和时只加载input却没加载norm_weight,等bar.sync后才去冷显存读权重,且只有1个CTA无法掩盖显存延迟,加上双精度溢出保护分支,导致单次高达16.81微秒,129次调用累计2.17 ms/tok。优化是在bar.sync前用#pragma unroll展开20轮,把20个input和20个norm_weight通过__ldg全部并发预取进40个寄存器,并把分支提到循环外。改后129次总耗时从2168.86 us降到1095.97 us,省1.07 ms/tok,数值逐位一致。
48层Gated DeltaNet状态矩阵在解码时怎么优化?
每层每步要读写3.15MB状态矩阵,48层合计302MB。原实现有两个串行停顿:Q和K的L2归一化串行执行用了4次全CTA屏障;状态矩阵每次只流式处理1行,计算立刻依赖刚发出的显存读取,每行都要等一次DRAM往返。优化是让线程0..127算Q、128..255同时算K,把4次__syncthreads()砍成2次;状态矩阵改为双行(2-Row)寄存器流水线,一次并发发出两行共8条缓存行请求,显存级并行度翻倍。48层累计省约0.46 ms/tok,加上Full-Attention的__ldg和双Warp Softmax再省0.10 ms/tok。
最终优化后解码速度比llama.cpp快多少,生成结果一致吗?
在c=512下达到24.94 tok/s(40.09 ms/tok),c=2048下24.93 tok/s,相比llama.cpp b8763的24.11/24.13 tok/s领先3.3%到4.3%。Prompt预填充达36.42 tok/s,比逐Token快1.53倍。数值上,129个贪婪采样Token ID与llama.cpp 100%重合(SHA256均为46b55cb7...),预填充Logits逐位相等,44项单元测试全部通过。