TQCompressor：通过排列改进神经网络中的张量分解方法
原文中文，约500字，阅读约需2分钟。发表于：。我们介绍了一种新的神经网络模型压缩方法 TQCompressor，并使用改进的张量分解技术解决预训练语言模型在 NLP 任务中计算和存储需求方面的挑战。我们通过置换增强 Kronecker 分解，成功降低了模型表示能力的损失。我们将该方法应用于 GPT-2$_{small}$，得到了 TQCompressedGPT-2 模型。与 GPT-2$_{small}$ 的 124...
介绍了TQCompressor神经网络模型压缩方法，使用张量分解技术解决预训练语言模型的计算和存储需求。通过应用于GPT-2$_{small}$，得到了TQCompressedGPT-2模型，参数数量减少到81百万。通过多步知识蒸馏的训练策略进一步提升了性能。在比较评估中，TQCompressedGPT-2优于DistilGPT-2和KnGPT-2，实现了在资源受限环境中高效部署模型的进展。
