本研究探讨了大型语言模型的隐私问题，分析了保留集对模型遗忘的影响，发现“句法相似邻居集”在遗忘过程中表现最差。通过对该集进行正则化，可以保持模型性能，强调了句法相似性在有效遗忘中的重要性。

本文研究了语言转移下更新语言模型的利与弊。通过添加挪威语和冰岛语等数据到英语语言模型中，研究了模型规模和学习率计划者的影响。发现前向传递对语言顺序无关，后向传递则取决于新语言的顺序和特点。探索了语言相似性度量，发现句法相似性与结果相关性最好。