本文提出了一种基于忆阻器的深度神经网络框架，结合权重剪枝和量化，采用交替方向乘子法（ADMM）进行训练，显著提高了模型的压缩比和能效。同时，研究探讨了脉冲神经网络和混合精度训练方案，展示了在低功耗机器学习加速器中的应用潜力，推动高效硬件解决方案的发展。

本文提出了一种基于忆阻器的深度神经网络（DNN）训练框架，结合权重剪枝和量化，显著提高了模型的压缩比和能效。在VGG-16和ResNet-18网络上，该框架实现了高达29.81倍的权重压缩和98.38%的功耗降低，精度损失仅为0.5%。此外，通过混合精度和硬件感知训练，进一步优化了机器学习加速器的性能，展示了在低功耗条件下的高效能。

本文提出了一种结合权重剪枝和模型蒸馏的新方法，旨在训练稀疏的预训练变压器语言模型。这些模型在保持稀疏性的同时，能够高效完成自然语言处理任务，并通过量化感知训练压缩至8位精度。研究表明，稀疏模型在训练和推理中实现了显著加速，且准确性损失极小，提供了一种高效、易于部署的语言模型训练框架。

研究发现，对于大型语言模型，通过权重剪枝和调整模型大小等扩展技术会对其核心能力产生不同影响。减小模型大小30%以上会降低回忆预训练中的事实能力，但减小60-70%仍能保留处理上下文信息的能力。密集扩展和权重剪枝都表现出这种行为，说明模型大小扩展对事实回忆和上下文学习有本质不同的影响。

本文介绍了一种通过权重剪枝和模型蒸馏技术训练稀疏的预训练变压器语言模型，并使用量化感知训练将这些模型压缩为8位精度的新方法。实验证明，该方法在多种自然语言任务中传输知识，并且是目前最好的压缩BERT模型的方法。

PyTorch 支持随机和量级权重剪枝，非结构化和结构化剪枝，以及一些帮助函数，但 API 混乱，文档描述不清晰，可以使用微软的开源 nni 工具来实现模型剪枝功能。