BriefGPT - AI 论文速递
·
Exploring Pretraining via Active Forgetting to Improve Cross-Lingual Transfer of Decoder Language Models
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。
🎯
关键要点
-
本研究提出了一种主动遗忘的预训练策略，以改善解码器语言模型在非英语语言上的表现。
-
该方法有效增强了模型的跨语言迁移能力，改善了多语言表示。
-
实验结果表明，使用主动遗忘预训练的模型在适应新语言时表现出色。
-
该策略在多个下游任务中取得了更好的性能。
🏷️
