本研究介绍了适用于东南亚语言的最新版本SeaLLMs 3模型系列，该模型在多种语言中取得了优秀的性能，表明先进的大型语言模型能够造福语言和文化相对较少关注的社区。

该文章介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，并在多个任务和基准测试中进行了评估。70B变体已经超过了gpt-3.5-turbo-16k在一套长上下文任务中的整体性能。同时，文章还对Llama的位置编码进行了深入研究，并讨论了预训练过程中各种设计选择的影响。

该文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，在语言模型、合成上下文探索任务以及广泛的研究基准上取得了显著提升。作者对Llama的位置编码和预训练过程中的设计选择进行了深入分析，验证了长上下文持续预训练相对于从头开始的长序列预训练更高效且同样有效。

该文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，并在多项任务上进行了评估。70B变体已经超过了gpt-3.5-turbo-16k在一套长上下文任务中的整体性能。同时，该文还对Llama的位置编码进行了深入研究，并讨论了预训练过程中各种设计选择的影响。