本文提出了一种结合权重剪枝和模型蒸馏的新方法，旨在训练稀疏的预训练变压器语言模型。这些模型在保持稀疏性的同时，能够高效完成自然语言处理任务，并通过量化感知训练压缩至8位精度。研究表明，稀疏模型在训练和推理中实现了显著加速，且准确性损失极小，提供了一种高效、易于部署的语言模型训练框架。