本研究分析了大语言模型在安全对齐方面的脆弱性，指出模型的安全行为受到广泛学习动态的影响，挑战了安全对齐独立几何方向的假设，并强调了在持续训练中保持对齐的重要性。

本研究提出布尔密集检索任务，收集了基准数据集BoolQuestions，发现现有系统对布尔逻辑的理解不足，并提出通过对比持续训练的方法来提升语言模型的布尔逻辑理解能力。

本研究介绍了EMMA-500，一个在546种语言上持续训练的大规模多语言模型，旨在提升低资源语言的表现。通过MaLA语料库的持续预训练，Llama 2 7B模型在跨语言转移、任务泛化和语言适应性方面表现显著，尤其在少数语言上效果突出。研究强调了词汇扩展和持续训练的重要性。

本文研究了生成式大型语言模型在跨语言适应中的有效性，发现跨语言词汇适应可提升推理速度达271.5%。提出了多种技术以改善低资源语言的性能，包括词汇替换和嵌入重初始化。实验表明，持续训练和任务特定微调能提高语言理解和下游任务性能，而词汇扩展效果有限。