Apple Machine Learning Research ·

Proxy-FDA：基于代理的特征分布对齐方法，用于无遗忘微调视觉基础模型

💡 原文英文，约400词，阅读约需2分钟。

📝

内容提要

本文介绍了一种新颖的正则化方法Proxy-FDA，旨在解决基础模型在微调过程中出现的概念遗忘问题。该方法通过特征分布对齐，保留特征空间中的结构知识，显著减少微调中的遗忘现象。实验结果表明，Proxy-FDA在图像分类和字幕生成等任务中表现优异。

🎯

🔎

在微调基础模型时，概念遗忘是一个普遍存在的问题。传统方法往往通过权重匹配来保留知识，但这种方法可能忽视特征空间中的邻域结构。Proxy-FDA通过特征分布对齐，能够更有效地保留这些结构知识，从而减少遗忘现象。

Proxy-FDA利用最近邻图进行特征分布对齐，这种方法不仅保留了原有知识，还通过动态生成的信息代理增加了数据的多样性。这种创新的正则化方法在图像分类和字幕生成等任务中表现出色，显示了其在多任务学习中的潜力。

研究表明，概念遗忘现象与分布距离度量之间存在强相关性。Proxy-FDA通过优化特征分布对齐，能够有效降低这种遗忘风险。这一发现为未来的模型微调提供了新的思路，强调了特征空间结构的重要性。

❓

Proxy-FDA是一种新颖的正则化方法，旨在解决基础模型在微调过程中出现的概念遗忘问题。

Proxy-FDA通过特征分布对齐，保留特征空间中的结构知识，从而显著减少微调中的遗忘现象。

实验结果表明，Proxy-FDA在图像分类和字幕生成等任务中表现优异，显著减少了概念遗忘。

Proxy-FDA使用最近邻图进行特征分布对齐，并通过动态生成的信息代理来增加数据多样性。

研究发现，遗忘现象与分布距离度量之间存在强相关性。

Proxy-FDA在多种微调设置中表现良好，包括端到端微调、少样本微调和持续微调。

🏷️