LOGO - 通过高效偏好优化实现长上下文对齐

BriefGPT - AI 论文速递 · 2024-10-24T00:00:00Z

我们介绍了一系列支持高达32,768个令牌的长上下文LLMs。通过持续预训练，这些模型在长文本数据集上表现优异，尤其在长上下文任务中显著超越Llama 2。70B变体在长任务中超过gpt-3.5-turbo-16k。我们分析了位置编码的局限性及预训练设计选择的影响，验证了长上下文持续预训练的有效性。