BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

Efficient Long-Range Language Modeling Based on Self-Supervised Causal Retrieval

📝

内容提要

本研究提出了一种新的分组交叉注意力模块，解决了检索基础语言模型在因果语言模型中的适应问题。通过联合预训练，该模型能有效检索过去的文本块，降低生成文本的自回归损失。在长达64K的上下文长度下实现高效预训练，同时保持较低的困惑度和成本。

🏷️

标签

分组交叉注意力 因果语言模型 检索 自回归损失 预训练