源代码摘要的精简 GPT

使用知识蒸馏方法训练了一个开源模型，基于GPT-3.5生成的样本。模型参数规模为350m，可在单个16gb GPU上运行，并展示了足够大的能力，可以模仿GPT-3.5。