源代码摘要的精简 GPT

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

使用知识蒸馏方法训练了一个开源模型,基于GPT-3.5生成的样本。模型参数规模为350m,可在单个16gb GPU上运行,并展示了足够大的能力,可以模仿GPT-3.5。

🏷️

标签

➡️

继续阅读