基于 CLIP 的零样本异常分割的语义鲁棒性研究
原文中文,约400字,阅读约需1分钟。发表于: 。使用预训练的基础模型进行零样本异常分割是一种有前途的方法,它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换(有界角度旋转、有界饱和度变化和色调变化)来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合,我们经验性地测量了一个较低的性能下界,并发现平均性能在 ROC...
使用预训练的基础模型进行零样本异常分割是有前途的方法,但研究发现扰动测试数据后,WinCLIP算法的性能下降了最高达40%。无论模型架构或学习目标如何,这三种CLIP主干的性能普遍降低,需要进行仔细的性能评估。