通过语言引导知识蒸馏的轻量级模型预训练

通过生成无标签训练数据，知识蒸馏技术缩小了大型语言模型与小型特定任务模型之间的性能差距。

VL distillation方法将大型视觉语言模型压缩为小型模型，提高图像字幕生成和视觉问答任务的性能。

通用语言模型压缩方法（GLMD）通过词汇预测和词汇量压缩消除模型之间的维度和结构约束，在SuperGLUE基准上超越最佳方法3%。

LinguGKD框架通过对齐教师模型和学生模型的特征，提高了学生模型的预测准确性和收敛速度，同时降低了计算和存储需求。

提出的两步法压缩Tiny语音增强模型，在高压缩和低信噪比条件下表现出显著改进。

在自然语言生成中，知识蒸馏技术通过伪目标数据增强有效压缩模型。

GKD框架支持在内存受限的GPU上使用多种蒸馏方法，适用于大规模预训练语言模型的蒸馏。

新的知识蒸馏方法利用自我监督信号提取教师模型中的知识，成功传递到学生网络中。

轻量级框架利用多源信息进行自知识蒸馏，表现优于基线和先进方法，具有计算效率和鲁棒性。