Anti-Distillation Sampling

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种“反蒸馏采样”方法,通过调整模型下一个标记的概率分布,降低推理轨迹的影响,有效防止模型蒸馏,具有重要的应用价值。

🏷️

标签

➡️

继续阅读