本文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练和调整过程，模型在长上下文任务中超过了gpt-3.5-turbo-16k的整体性能。文章还对Llama的位置编码和预训练过程进行了深入分析。
完成下面两步后，将自动完成登录并继续当前操作。
