本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。