本文综述了利用提示学习增强大语言模型知识能力的多项研究，涵盖知识图谱增强、零样本问答、知识图谱构建和少样本分类。研究表明，优化提示策略能显著提升模型性能，小语言模型结合提示学习在特定领域也具潜力，提示工程对零样本任务尤为关键。

该文介绍了一种名为Retro 48B的预先训练语言模型，通过从1.2万亿令牌中检索继续对43B GPT模型进行额外的1000亿令牌的预训练。Retro 48B在困惑度方面表现更好，InstructRetro在零样本问答任务上明显优于指导调整的GPT。