基于梯度约束的锐度感知提示学习用于视觉语言模型

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该研究提出了一种名为GCSCoOp的新方法,旨在提高视觉语言模型的可推广性能,同时保持对已知类别的性能。该方法通过动态约束优化梯度,同时实现了两个优化目标。实验证实了该方法在权衡问题上的有效性。

🎯

关键要点

  • 该研究提出了一种名为GCSCoOp的新方法,旨在提高视觉语言模型的可推广性能。

  • GCSCoOp方法同时保持对已知类别的性能,并提高对未知类别的性能。

  • 研究分析了当前方法和锐度感知最小化(SAM)的损失地形,得出权衡性能与损失值和损失锐度相关的结论。

  • 现有方法的优化梯度在优化过程中不能始终保持与损失值和损失锐度的高一致性。

  • GCSCoOp通过动态约束优化梯度,实现了两个优化目标。

  • 广泛的实验证实了GCSCoOp在权衡问题上的有效性。

➡️

继续阅读