本文介绍了一种零样本评估蒸馏方法，通过使用截断的大模型进行初始化并继续预训练，减少对任务特定数据的依赖。该方法在模型无法同时放入GPU时，将尺寸减少50%，在13个任务上性能与基准方法相当或更优，计算效率提高1.5倍。