本文探讨了大语言模型在持续预训练中的学习动态，分析了通用性能与特定领域性能的演变，并提出了CPT缩放法则，为训练超参数优化提供新见解。

我们开发了一种支持32,768个令牌的长上下文语言模型，通过持续预训练和长文本数据集构建。模型在语言和长上下文任务上表现出色，尤其在长上下文任务中超过了Llama 2和gpt-3.5-turbo-16k。研究发现，长上下文的持续预训练更为高效。

本文研究了以持续预训练的方式构建新语言的大型语言模型，并通过40个模型规模的并行实验表明CPT能够快速收敛并节省计算资源。研究还发现CPT的计算最优数据-参数分配存在差异，通过数据重播可以减轻灾难性遗忘。希望这些发现能为规模化LLMs的可迁移性提供见解。

这篇研究论文提出了一种简单有效的方法，用于在新数据可用时持续预训练大型语言模型。通过结合学习率逐渐增加和逐渐减小以及周期性重播之前的数据等简单技术，研究人员能够在使用更少计算资源的情况下，与完全重新训练模型的性能相匹配。这些发现对于大型语言模型的实际部署具有重要意义，使其能够以可扩展和高效的方式保持最新状态。进一步研究语言模型的持续学习技术可能会导致更强大和适应性更强的人工智能系统。

本文研究了以持续预训练（CPT）构建新语言的大型语言模型（LLMs），通过40个模型规模的并行实验表明CPT能够快速收敛并节省大量计算资源，为规模化LLMs的可迁移性提供深入见解。

本研究探讨了电子商务领域持续预训练对大型语言模型的影响，并证明了其有效性。同时，提出了一种混合策略来更好地利用电子商务半结构化数据。

本研究探讨了电子商务领域中持续预训练对大型语言模型的影响，并证明了其有效性。同时，提出了一种混合策略来更好地利用电子商务数据。

本文介绍了一种名为稳定蒸馏的方法，用于持续预训练和提升目标领域自动语音识别（ASR）性能。该方法通过自蒸馏作为正则化方式，减轻了持续预训练中的过拟合问题。实验结果表明，稳定蒸馏在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。

该文介绍了支持高达32,768个令牌的长上下文LLMs，通过持续预训练构建模型系列，在语言模型、合成上下文探索任务以及广泛的研究基准上取得了显著提升。作者对Llama的位置编码和预训练过程中的设计选择进行了深入分析，验证了长上下文持续预训练相对于从头开始的长序列预训练更高效且同样有效。