Mistral 7B

该文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，并在多项任务上进行了评估。70B变体已经超过了gpt-3.5-turbo-16k在一套长上下文任务中的整体性能。同时，该文还对Llama的位置编码进行了深入研究，并讨论了预训练过程中各种设计选择的影响。