关于在具有高度区分特征的数据上微调的后果

原文约300字，阅读约需1分钟。发表于：。

在迁移学习时代，从头开始训练神经网络已经过时。迁移学习利用先前的知识进行新任务训练，节省计算资源。然而，我们发现一个显著的缺点：网络倾向于优先考虑基本的数据模式，而忽视宝贵的预先学习特征。我们将这种行为称为 “特征侵蚀”，并分析其对网络性能和内部表示的影响。

本文介绍了一种名为特征增强训练（FAT）的方法，通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。实验表明，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。