Distillation Scale Law

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种蒸馏规模法则,以解决大规模蒸馏模型的性能估计问题。合理的资源分配显著提升了学生模型的性能,并提供了优化蒸馏的方案,促进了实验设计与蒸馏过程的理解。

🏷️

标签

➡️

继续阅读