知识蒸馏与固定计算预算下的从零开始训练对比
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
本研究比较了从头开始预训练与几种知识蒸馏策略在计算资源和预训练数据方面的表现。结果发现TinyBERT和MiniLM优于从头开始预训练。其他研究提出了MixKD、MKD、KDEP、MiniLLM、交流式通信、基于Transformer的压缩方法、ATKD、中间层蒸馏、标签正则化微调和适应文本分类任务的方法。
❓
Q&A
知识蒸馏与从头开始预训练的主要区别是什么？
知识蒸馏需要额外的前向传递，通常教师模型大于学生模型，而从头开始预训练则不需要这种额外步骤。
TinyBERT和MiniLM在预训练中的表现如何？
研究发现TinyBERT和MiniLM在计算资源和预训练数据方面的表现优于从头开始预训练。
MixKD技术是如何提升模型性能的？
MixKD利用数据扩充技术提升了大规模语言模型的泛化能力，实现了比标准知识蒸馏更好的性能表现。
KDEP方法的主要优势是什么？
KDEP通过非参数特征维度对齐有效转移学习特征，减少预训练时间，并在多个下游任务中实现与有监督预训练相当的效果。
ATKD自适应教学方法的效果如何？
ATKD显著提高了学生模型的性能和泛化能力，经过实验验证，平均得分增加至多3.04%。
标签正则化在NLP中的使用是否必要？
研究发现预训练本身已具正则化作用，因此在微调时添加额外的标签正则化并不必要。
🏷️
