文章讨论Transformer推理中的激活量化与浮点量化。激活值随输入动态变化且含离群值,量化难度高于权重。W8A8采用逐token动态缩放,SmoothQuant将激活量化难度转移到静态权重。FP8使用带缩放的浮点格式,间距非均匀,需指定E4M3/E5M2及缩放粒度。文中演示用LLM Compressor生成INT8 W8A8和FP8检查点,并用vLLM推理,强调需实测精度与吞吐。
完成下面两步后,将自动完成登录并继续当前操作。