BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z Exploring Pretraining via Active Forgetting to Improve Cross-Lingual Transfer of Decoder Language Models 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。 🏷️ 标签 models 主动遗忘 多语言表示 解码器语言模型 跨语言迁移 预训练策略 阅读原文 生成长图 分享链接 已复制链接
