本研究探讨了大型语言模型中的量化方法，发现INT4量化在生成类别任务中表现不佳，而FP6量化在准确性和多功能性方面具有优势。提出了一种用于FP6的新设计，以适应不同的AI硬件并实现最佳性能。通过该设计，FP6可以成为当前语言模型中使用的有希望的4位量化方法之一。

本研究审查了大型语言模型中的4位量化方法，发现INT4量化在生成类别任务中表现不佳，而FP6量化在准确性和多功能性方面表现出色。提出了一种用于FP6的新颖4+2设计，以适应各种AI硬件并实现最佳系统性能。