HELMET：如何有效而全面地评估长文本语言模型

BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

我们开发了支持32,768个令牌的长上下文语言模型，通过持续预训练和长文本数据集构建。模型在语言任务和研究基准上表现优异，尤其在长上下文任务上超越了Llama 2。70B变体在长上下文任务中超过了gpt-3.5-turbo-16k。研究表明，长上下文持续预训练比从头开始的长序列预训练更高效。我们还分析了Llama的位置编码及其在长依赖性建模中的局限性。