LongQLoRA：扩展大型语言模型上下文长度的高效有效方法

该文章介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，并在多个任务和基准测试中进行了评估。70B变体已经超过了gpt-3.5-turbo-16k在一套长上下文任务中的整体性能。同时，文章还对Llama的位置编码进行了深入研究，并讨论了预训练过程中各种设计选择的影响。