本研究提出了一种新的上下文学习蒸馏方法，旨在解决自然语言推理任务中大模型训练资源消耗过大的问题。通过将OPT-1.3B模型的参数压缩至1.25亿，外域准确率显著提高。

用于高效少量样本微调的上下文学习蒸馏
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证