从学生中学习：应用 t - 分布来探索 LLM 的准确和高效格式
内容提要
最近的研究探讨了深度学习中的后训练量化，特别是FP8和FP4格式在大型语言模型中的应用。研究表明，FP8在自然语言处理和计算机视觉任务中优于INT8，且通过激活量化感知和序列长度感知校准等新技术，显著提高了模型的准确性和计算效率。这些进展为资源受限环境中的高效部署提供了可能。
延伸解读
FP8 与 INT8 的量化对比
文章指出，FP8 格式在工作负载覆盖率上达到 92.64%，而 INT8 仅为 65.87%，且 FP8 在模型准确度和操作范围上均优于 INT8。这意味着在支持 FP8 的硬件上，采用 FP8 量化可以覆盖更多类型的计算，同时保持更高的精度，为大型语言模型的部署提供了更高效的方案。
FP8 内部格式的选择：E4M3 与 E3M4
研究比较了三种 FP8 表示：E5M2、E4M3 和 E3M4。结果显示，E4M3 更适用于自然语言处理模型，而 E3M4 在计算机视觉任务中表现稍优。这提示开发者在实际应用中应根据任务类型选择合适的 FP8 格式，以在动态范围和精度之间取得最佳平衡。
FP4 量化的潜力与部署简化
对于权重量化，FP4 与 INT4 相比表现出可比甚至更好的性能，尤其是在模型参数超过十亿时优势更明显。FP4 简化了在支持浮点运算的硬件上的部署，为资源受限环境提供了新的可能。此外，结合低秩补偿（LoRC）策略可以进一步增强量化效果，特别适用于较小模型。
W4A8 量化的技术创新
文章介绍了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等新技术，并引入混合数据格式 dINT 来解决 W4A8 量化中的下溢问题。这些技术显著提高了任务准确度，与完整精度模型相当，并且通过兼容的算术单元，硬件效率相比 8 位整数 MAC 单元可提升 2 倍。
Q&A
FP8格式在大型语言模型中的优势是什么？
FP8格式在多个方面优于INT8，包括工作负载覆盖率和模型准确度，特别适用于自然语言处理和计算机视觉任务。
E4M3和E3M4在不同任务中的表现如何？
E4M3更适用于自然语言处理模型，而E3M4在计算机视觉任务中表现稍优。
FP4格式与INT4相比有什么优势？
FP4与INT4相比表现出可比甚至更好的性能，简化了在支持FP的硬件上部署。
研究中提到的激活量化感知和序列长度感知校准是什么？
激活量化感知和序列长度感知校准是新技术，旨在提高模型的准确性和计算效率。
后训练量化的研究对资源受限环境有什么影响？
研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。
如何提高大型语言模型的计算效率？
通过使用FP8和FP4格式的浮点量化以及激活量化感知等技术，可以显著提高大型语言模型的计算效率。
