知识蒸馏与固定计算预算下的从零开始训练对比

BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

本研究比较了从头开始预训练与几种知识蒸馏策略在计算资源和预训练数据方面的表现。结果发现TinyBERT和MiniLM优于从头开始预训练。其他研究提出了MixKD、MKD、KDEP、MiniLLM、交流式通信、基于Transformer的压缩方法、ATKD、中间层蒸馏、标签正则化微调和适应文本分类任务的方法。