Efficient Long-Range Language Modeling Based on Self-Supervised Causal Retrieval
原文英文，约100词，阅读约需1分钟。发表于：。本研究针对现有检索基础语言模型在因果语言模型中的适应性问题，提出了一种新颖的Grouped Cross-Attention模块，允许检索器与因果语言模型的联合预训练。核心发现是，该模型能够有效学习检索过去的文本块，以降低后续生成文本的自回归损失，从而在长达64K的上下文长度下实现高效的预训练，并在较低困惑度的同时保持相似或更低的预训练和推理成本。
本研究提出了一种新的分组交叉注意力模块，解决了检索基础语言模型在因果语言模型中的适应问题。通过联合预训练，该模型能有效检索过去的文本块，降低生成文本的自回归损失。在长达64K的上下文长度下实现高效预训练，同时保持较低的困惑度和成本。
