本研究分析了大语言模型在安全对齐方面的脆弱性，指出模型的安全行为受到广泛学习动态的影响，挑战了安全对齐独立几何方向的假设，并强调了在持续训练中保持对齐的重要性。

本研究提出布尔密集检索任务，收集了基准数据集BoolQuestions，发现现有系统对布尔逻辑的理解不足，并提出通过对比持续训练的方法来提升语言模型的布尔逻辑理解能力。

本研究介绍了EMMA-500，一个在546种语言上持续训练的大规模多语言模型，旨在提升低资源语言的表现。通过MaLA语料库的持续预训练，Llama 2 7B模型在跨语言转移、任务泛化和语言适应性方面表现显著，尤其在少数语言上效果突出。研究强调了词汇扩展和持续训练的重要性。

通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。