面壁智能推出的BitCPM-CANN三值大模型显著降低显存需求，最高可节省6倍，同时保留97%的模型能力。该模型首次在华为昇腾平台上完成训练，支持多种应用场景，从手机到PC。通过三值量化技术，模型在保持性能的同时显著减少内存占用，为AI在终端设备的应用提供了新可能。

黑森林实验室发布的FLUX.2-klein-4B模型，通过步数蒸馏实现亚秒级推理，显存需求仅13GB，支持多种生成模式，提升了AI图像生成的实时交互能力。

RTX 3080移动版可用于GRPO训练大型语言模型。GRPO是一种在线学习算法，通过生成的数据进行迭代改进。文章讨论了模型大小选择、显存需求及优化技术，如8-bit优化和梯度检查点，以降低内存占用。实验表明，内存需求随模型大小和训练方式变化，完全微调比PEFT需更多内存。作者使用trl库进行训练，展示了GRPO的潜力和应用。