Craft: 跨模态对齐特征提高提示调整的鲁棒性
原文中文,约200字,阅读约需1分钟。发表于: 。通过交叉模态对齐的特征调整方法(Craft)解决了提示调整方法由于训练样本有限而导致的过拟合问题,并通过优化特征对齐损失和最小化最大均值差异来提高模型性能和鲁棒性。
该研究提出了一种名为Unified Prompt Tuning (UPT)的方法,通过微调文本和视觉提示的参数来优化跨模态的学习效果。在11个视觉数据集上进行了测试,取得了较好的few-shot learning和domain generalization的效果。