本文综述了大型语言模型（LLMs）的架构、训练策略、数据集及评估，重点分析芬兰语和低资源语言的应用。研究表明，LLMs在自然语言处理领域表现优异，但仍需解决效率和可靠性问题。

该研究探讨了芬兰语大型语言模型的创建与评估，分析了多语言建模中的屈折变化对模型质量的影响。通过分层潜在变量和词元标记策略，提升了机器翻译的精度和资源利用率，并提出在低资源环境中使用双层Transformer架构和数据增强技术以提高翻译性能。

本文介绍了两种三语BERT模型的训练，分别适用于芬兰语、爱沙尼亚语和英语，以及克罗地亚语、斯洛文尼亚语和英语。这些模型在多个下游任务中表现优异，特别是在命名实体识别和依存句法分析方面。研究还探讨了如何在有限计算预算下有效转移英文预训练模型到其他语言，以及多语言数据对低资源语言模型性能的影响。

本文探讨了预训练深度学习语言模型在自然语言处理中的应用，特别是针对芬兰语的研究。研究比较了多语言模型微调与芬兰语数据单独训练的模型，结果显示后者在词性标注、命名实体识别和依存分析任务中表现更佳。此外，研究还展示了多语言预训练模型的有效性及其在多种语言任务中的应用潜力。