BriefGPT - AI 论文速递 · 2023-10-11T00:00:00Z InstructRetro: 检索增强预训练后的指令调整 💡 原文中文，约500字，阅读约需2分钟。 📝 内容提要 该文介绍了一种名为Retro 48B的预先训练语言模型，通过从1.2万亿令牌中检索继续对43B GPT模型进行额外的1000亿令牌的预训练。Retro 48B在困惑度方面表现更好，InstructRetro在零样本问答任务上明显优于指导调整的GPT。 🏷️ 标签 GPT模型 Retro 48B 语言模型 零样本问答 预先训练 阅读原文 生成长图 分享链接 已复制链接
