TQCompressor：通过排列改进神经网络中的张量分解方法

BriefGPT - AI 论文速递 · 2024-01-29T00:00:00Z

介绍了TQCompressor神经网络模型压缩方法，使用张量分解技术解决预训练语言模型的计算和存储需求。通过应用于GPT-2$_{small}$，得到了TQCompressedGPT-2模型，参数数量减少到81百万。通过多步知识蒸馏的训练策略进一步提升了性能。在比较评估中，TQCompressedGPT-2优于DistilGPT-2和KnGPT-2，实现了在资源受限环境中高效部署模型的进展。