华为GTS AI计算Lab的研究团队提出了LocMoE+架构，结合了传统的被动路由和专家主动路由机制，通过提高处理判别性token的概率来降低样本噪声和提升训练效率。实验结果表明，LocMoE+可以减少每个专家需要处理的token数量，并提高训练效率，同时减少显存占用。该架构在通用知识和领域知识上的能力也得到了评估。

南开大学研究团队在ICML 2024上发表论文，提出Approx-BP和MS-BP两种反向传播改进策略，可显著减少微调过程中的显存占用。实验结果显示，这两种策略能有效降低Transformer模型微调的峰值显存占用，且不影响训练速度和精度，为显存节省提供新方案。

本文介绍了 DragGAN 的第三方实现版本，并提供了在线体验和本地部署的方法。安装 Conda 和 PyTorch，使用 pip 安装 DragGAN，通过命令行运行 DragGAN 的 Demo。界面功能包括选择模型、分辨率和显存占用。

在大语言模型时代，显存不足是一个突出问题。本文分析了深度学习训练中的显存占用，包括框架、模型参数和特征相关的占用。通过样例程序展示了不同情况下的显存需求。使用torch.autograd.Function实现算子融合可以节约显存开销。介绍了查看pytorch自带算子保存的变量的方法。