文章揭示了Blackwell架构原生支持INT4满血算力，通过修改cutlass代码或CUBIN后处理，可解锁SM100/SM110及RTX 5090的INT4/E0M3算力，吞吐与FP4 E2M1相当，支持混乘，未来可提升本地llama.cpp推理性能。

SmoothQuant是一种后训练量化解决方案，旨在提高大型语言模型（LLMs）的硬件效率，减少内存使用并加速推理。通过平滑激活异常值和优化权重，SmoothQuant实现了8位权重和激活量化，降低成本同时保持精度。相关方法如AdaDim和Agile-Quant进一步提升了模型性能和推理速度，解决了激活稀疏性问题，推动了LLMs在边缘设备上的应用。

本研究提出了GaLore和LQ-LoRA等高效微调和量化方法，旨在降低大型语言模型的内存使用，同时保持性能。通过低秩适配和量化技术，优化了模型训练过程，展示了在消费级GPU上进行大规模模型预训练的可行性。这些方法在不同任务中表现优异，有效应对了计算和存储需求增加的挑战。

本文综述大语言模型低比特量化研究，比较INT4与FP6/FP4等浮点方案。INT4在代码生成、摘要等任务中性能明显下降，而FP6精度高、适用广，可使模型接近FP16水平。作者提出FP6的4+2设计，兼顾硬件效率与低延迟，为资源受限部署提供新方案。