本文探讨了FP4低精度训练中E2M1格式的局限性，提出E1M2格式可能是更优选择。研究发现E2M1存在收缩偏差，影响训练收敛速度。通过引入随机Hadamard变换（RHT），在E1M2格式下可提高量化质量，推动FP4训练向“局部分辨率主导”转变，建议未来硬件重新评估格式选择。

Ling 2.0 采用 FP8 混合精度训练，显著提升了训练效率和显存利用率。细粒度量化减少了量化误差，确保模型效果接近 BF16。与 LLaMA 3.1 和 Qwen3 比较，Ling-mini-2.0 在多 GPU 环境下吞吐量提升达 30-120%。该方案为低精度训练提供了有效路径，解决了计算资源和能耗挑战。

本研究探讨低精度训练和推理对语言模型质量及成本的影响，提出“精准度感知”规模规律，发现低精度训练减少有效参数数量，且后训练量化降级随训练数据增加而加剧，为模型训练优化提供新思路。

本文探讨了基于梯度和重要性采样的深度学习优化方法，提出了一种高效的采样框架，显著提升了模型性能和训练效率。研究表明，低精度训练和梯度采样技术在资源受限环境中仍能保持高准确性，适用于多种数据集和神经网络结构。

本文介绍了使用低精度（如8位浮点数）训练深度神经网络的方法，旨在降低计算需求并提升模型性能。研究表明，这些技术在多个数据集上有效减少内存消耗，同时保持高准确性，甚至在某些情况下提升性能。这些新方法为未来硬件平台的训练奠定了基础，具有显著的效率提升潜力。

TensorFlow Quantum 是一个开源库，支持混合量子-经典模型的设计与训练，推动量子计算与机器学习的发展。该库提供超导量子分类和噪声模拟等功能，帮助发现潜在的量子算法。其他工具如 NetKet 3 和 TorchMD-Net 也在量子态机器学习和计算效率方面有所贡献。QPyTorch 框架简化了低精度训练的研究，提升了模型效率。

该文综述低精度深度神经网络训练与量化方法，包括循环精度训练、低位量化卷积网络、嵌入表压缩、课程学习、渐进与随机量化、知识蒸馏、SAT、GPTQ及分段线性量化等，并在多个数据集和模型上验证其能提升效率与精度。

本文综述低精度深度神经网络训练技术，涵盖半精度浮点、8位浮点、BFLOAT16及动态定点数，通过降低精度减少内存与能耗，保持或提升模型准确性和训练速度，吞吐量可提高2至4倍。

该文综述量化神经网络研究，涵盖对抗鲁棒性、低精度训练、混合精度压缩及后训练量化。核心发现：量化不提供强对抗保护；增加位宽会降低对抗鲁棒性，但提升自然与系统鲁棒性；细粒度量化对精度至关重要；量化训练可产生更稳定模型。