文章揭示了Blackwell架构原生支持INT4满血算力,通过修改cutlass代码或CUBIN后处理,可解锁SM100/SM110及RTX 5090的INT4/E0M3算力,吞吐与FP4 E2M1相当,支持混乘,未来可提升本地llama.cpp推理性能。
完成下面两步后,将自动完成登录并继续当前操作。