BriefGPT - AI 论文速递 · 2025-02-05T00:00:00Z

A Fine-Tuning Method Using Weighted Simple Samples to Mitigate Forgetting Phenomena

📝

内容提要

本研究提出了一种样本加权方案，以解决微调预训练模型时的“灾难性遗忘”问题，特别是在缺乏原始数据的情况下。该方法通过强调简单样本来提升下游任务的性能，实验证明在语言和视觉任务中效果显著。

🏷️

标签

下游任务 微调 样本加权 灾难性遗忘 预训练模型