机器之心数据服务现已上线，提供高效稳定的数据获取，简化爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究提出了一种混合精度策略，用于量化FP4精度的训练方法，旨在解决大型语言模型训练中的计算需求问题。实验结果表明，该策略在降低计算成本的同时，能够达到与BF16和FP8相当的准确性。

微软推出FP4训练框架，能在相同超参数下实现与BF16相当的训练效果，降低存储和计算资源需求。该框架支持最大130亿参数的模型，采用FP8模拟FP4，提升训练效率，并在反向传播中引入可微分梯度估计方法，确保训练稳定性。

英伟达发布的迷你超算Project DIGITS引发争议，专家批评其FP4算力宣传不实，认为性能与250美元显卡相当。Tiny Corp指责其售价3000美元的超算不如游戏电脑，强调FP4无法实际使用。尽管如此，英伟达仍计划进军消费级CPU市场。

Diffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization method utilizing 4-bit floating-point precision on both weights and...

研究发现，使用浮点量化可以在大型语言模型中获得出色的性能，尤其是使用FP8和FP4浮点数。对于权重量化，FP4与INT4相比表现出可比、甚至更好的性能。研究提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，同时结合了低秩补偿策略来增强量化方法，特别适用于较小的模型。这些结果为在资源受限环境中高效部署大型语言模型铺平了道路。