Efficient Long-Range Language Modeling Based on Self-Supervised Causal Retrieval

本研究提出了一种新的分组交叉注意力模块，解决了检索基础语言模型在因果语言模型中的适应问题。通过联合预训练，该模型能有效检索过去的文本块，降低生成文本的自回归损失。在长达64K的上下文长度下实现高效预训练，同时保持较低的困惑度和成本。