本研究成功地将预先训练的Vision Transformers（ViT）应用于目视检测，并证明了与CNN的互补性。预先训练模型的一小部分在资源有限的环境中也能达到良好准确性。通过添加传统手工制作的特征，算法效率进一步提高。

该文介绍了一种名为Retro 48B的预先训练语言模型，通过从1.2万亿令牌中检索继续对43B GPT模型进行额外的1000亿令牌的预训练。Retro 48B在困惑度方面表现更好，InstructRetro在零样本问答任务上明显优于指导调整的GPT。