本研究提出了一种新方法，深入探讨浮点量化对大规模语言模型训练性能的影响，发现最佳精度与计算能力成正比，为硬件制造商提供了优化建议。

研究发现，使用浮点量化可以在大型语言模型中获得出色的性能，尤其是使用FP8和FP4浮点数。对于权重量化，FP4与INT4相比表现出可比、甚至更好的性能。研究提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，同时结合了低秩补偿策略来增强量化方法，特别适用于较小的模型。这些结果为在资源受限环境中高效部署大型语言模型铺平了道路。