BriefGPT - AI 论文速递
·
A Fine-Tuning Method Using Weighted Simple Samples to Mitigate Forgetting Phenomena
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种样本加权方案，以解决微调预训练模型时的“灾难性遗忘”问题，特别是在缺乏原始数据的情况下。该方法通过强调简单样本来提升下游任务的性能，实验证明在语言和视觉任务中效果显著。
🎯
关键要点
- 本研究提出了一种样本加权方案，解决微调预训练模型时的“灾难性遗忘”问题。
- 该方法特别适用于无法获取原始训练数据的情况。
- 通过强调简单样本，该方案限制模型的迁移，提升下游任务性能。
- 实验证明，该方法在语言和视觉任务中表现出色，显著减少了准确率的下降。
➡️
