内容提要
文章讨论Transformer推理中的激活量化与浮点量化。激活值随输入动态变化且含离群值,量化难度高于权重。W8A8采用逐token动态缩放,SmoothQuant将激活量化难度转移到静态权重。FP8使用带缩放的浮点格式,间距非均匀,需指定E4M3/E5M2及缩放粒度。文中演示用LLM Compressor生成INT8 W8A8和FP8检查点,并用vLLM推理,强调需实测精度与吞吐。
延伸解读
动态激活量化的代价与取舍
文章指出,激活值随输入动态变化且含离群值,量化难度高于权重。动态逐token缩放能适应每个请求的范围,但每次生成激活张量都需执行绝对值最大归约和缩放计算,增加推理路径开销。静态校准虽快,却可能因部署输入超出校准范围而被裁剪。选择时需权衡运行时成本与精度风险,尤其要关注离群值对普通值分辨率的影响。
SmoothQuant如何转移量化难度
SmoothQuant通过数学等价变换,将激活通道除以正缩放向量s,同时将权重对应列乘以s,把激活的离群值难度转移到静态权重上。权重通常更能容忍逐通道量化的不均匀范围。文章强调,这不同于AWQ:AWQ保护重要权重但激活仍保持高精度,而SmoothQuant为W8A8执行准备两侧,使运行时激活更易量化为INT8。实现时s需从权重幅度和校准激活推导。
FP8并非简单截断,格式与缩放需明确
FP8量化需先将张量除以缩放因子再舍入到可表示值,缩放必须随张量或块存储。与INT8仿射量化不同,FP8的指数位带来非均匀间距:近零值步长细,大值步长宽,能覆盖更广幅度但仍有舍入和溢出风险。文章提醒,“FP8”未指定布局,E4M3精度更高,E5M2范围更宽,且缩放粒度(逐张量或逐块)也需明确,具体可用性取决于硬件和推理引擎。
部署前必须实测精度与吞吐
文章用LLM Compressor生成INT8 W8A8和FP8检查点,并用vLLM推理,但强调短生成仅验证检查点可加载运行,不能代表量化质量。应使用代表性评估提示对比原始模型。W8A8不保证快于W4A16或BF16:整数矩阵硬件利于prefill和大批量,W4A16在小型decode时读取权重字节更少。激活量化的运行时缩放可能增加小批量decode开销,需剖析完整请求而非孤立加速点。
Q&A
为什么Transformer推理中激活量化比权重量化更难?
激活值依赖输入token、序列位置和前面层,其范围随请求变化,且少数通道可能持续存在离群值,因此量化参数需在推理时动态确定,难度高于固定权重的量化。
W8A8量化中如何处理激活值的动态范围?
常用逐token动态缩放:对每个token的隐藏维度计算绝对值最大值得到缩放因子,将激活量化为INT8(对称,零点为0),推理时实时计算缩放,适应不同token的范围变化。
SmoothQuant是如何工作的?它和AWQ有什么区别?
SmoothQuant通过数学等价变换,将激活的量化难度转移到权重:对激活除以缩放向量s,对权重乘以s,使激活范围更平滑,便于INT8量化。AWQ则用校准激活保护重要权重,保持激活为高精度,属于仅权重量化(如W4A16)。
FP8量化与INT8量化有什么不同?
FP8使用带缩放的浮点格式,其可表示值间距非均匀(近零更细,大值更宽),能覆盖更广范围,但需指定格式(如E4M3或E5M2)和缩放粒度;INT8为均匀步长,通常需零点。FP8仍需缩放因子伴随张量。
如何用LLM Compressor生成INT8 W8A8检查点并用vLLM推理?
使用LLM Compressor的oneshot流程,配合SmoothQuantModifier和GPTQModifier(scheme='W8A8'),加载校准数据集进行校准,保存压缩检查点。vLLM可直接加载该检查点,无需额外量化参数即可推理。
FP8量化部署时需要注意哪些硬件和格式选择?
需指定FP8布局(E4M3精度更高,E5M2范围更广)和缩放粒度(逐张量或逐块)。vLLM当前支持NVIDIA Ada Lovelace、Hopper、Blackwell及部分AMD加速器,具体路径取决于GPU、FP8布局和量化方案,需查兼容性表。
W8A8量化一定能加速推理吗?应该如何评估?
不一定。W8A8可利用整数矩阵硬件加速prefill和大批量,但小批量解码时W4A16可能更优(读取更少权重字节)。应分别对prefill和decode阶段进行基准测试,并比较量化模型与原始模型的精度和吞吐。