InfiniPot：在内存受限的大型语言模型上进行无限上下文处理
BriefGPT - AI 论文速递 ·
我们开发了支持32,768个令牌的长上下文LLMs，通过持续预训练和长文本数据集构建。模型在语言任务和研究基准上表现优异，尤其在长上下文任务上超过Llama 2。70B变体在长上下文任务中优于gpt-3.5-turbo-16k。分析表明，长上下文持续预训练更高效。
原文中文，约500字，阅读约需2分钟。
BriefGPT - AI 论文速递 ·
