Ling 2.0 采用 FP8 混合精度训练，显著提升了训练效率和显存利用率。细粒度量化减少了量化误差，确保模型效果接近 BF16。与 LLaMA 3.1 和 Qwen3 比较，Ling-mini-2.0 在多 GPU 环境下吞吐量提升达 30-120%。该方案为低精度训练提供了有效路径，解决了计算资源和能耗挑战。

本文提出了一种基于忆阻器的深度神经网络（DNN）框架，结合权重修剪和量化，利用交替方向乘子法（ADMM）实现高压缩比和低精度损失。研究表明，该框架在VGG-16和ResNet-18网络上显著降低了功耗和面积，同时保持较高的训练准确率。此外，探讨了混合精度训练方案和新算法，以提高大型语言模型的服务效率，解决系统提示的瓶颈问题。

本文介绍了分布式训练系统的基础概念、架构和并行策略，以DeepSpeed为例介绍了在集群上训练大语言模型。分布式训练通过数据并行、模型并行和混合并行等方式实现，并使用混合精度训练和动态损失缩放等技术降低内存占用。

该文综述存内计算（CiM）用于机器学习推断的研究。通过架构与算法协同设计，可显著提升能效与性能，如INT-8精度能耗降至0.12倍、性能增益达4倍；NACIM框架能效达16.3 TOPs/W，并降低设备变异影响76.44%。研究还涵盖混合精度训练、最坏情况感知训练及基于PCM、RTM等硬件的ResNet训练方法，实现高精度与高能效。

该文综述了多项研究：通过在线优化减少模拟交叉开关误差以提升深度神经网络性能；MCUFormer在微控制器上部署视觉变换器，准确率达73.62%；Compute-ACAM结构降低Transformer能耗；内存计算硬件训练ResNet，CIFAR-10精度达93.7%；CXV混合架构减少GPU使用；混合精度训练方案；缓存优化加速Transformer；视频实例分割端到端方案；MemSizer提升效率；忆阻器框架实现高压缩比量化。