复述原文” 提高了长篇背景问答的准确性
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本文介绍了支持高达32,768个令牌的长上下文LLMs，通过预训练和调整过程，在语言模型和合成上下文探索任务中取得了改进。模型在长上下文任务中超过了gpt-3.5-turbo-16k。对模型的各个组成部分进行了深入分析。
🏷️
