4 bit量化通常只压缩权重，激活仍为16 bit，因此显存不会缩小四倍。以70亿参数模型为例，4 bit权重约3.26 GiB，加分组比例因子约0.10 GiB，共约3.36 GiB；运行时还需KV缓存、激活和工作区。低比特不必然更快，格式支持、分组大小和校准都会影响精度与速度。部署前应估算权重下限、预留约20%余量并实测。