本文综述大语言模型低比特量化研究，比较INT4与FP6/FP4等浮点方案。INT4在代码生成、摘要等任务中性能明显下降，而FP6精度高、适用广，可使模型接近FP16水平。作者提出FP6的4+2设计，兼顾硬件效率与低延迟，为资源受限部署提供新方案。

本研究审查了大型语言模型中的4位量化方法，发现INT4量化在生成类别任务中表现不佳，而FP6量化在准确性和多功能性方面表现出色。提出了一种用于FP6的新颖4+2设计，以适应各种AI硬件并实现最佳系统性能。