使用 CLIP 的随机词数据增强技术进行零样本异常检测
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
本文提出了一种利用视觉-语言模型CLIP进行零样本异常检测的新方法。通过滑动窗口方式对图像的每个部分应用提示引导分类,并通过生成文本嵌入来训练前馈神经网络。通过从CLIP的嵌入中提取正常和异常特征,实现了无需训练图像的无类别异类检测,并取得了零样本设置下的最新性能。
🎯
关键要点
-
提出了一种利用视觉-语言模型CLIP进行零样本异常检测的新方法。
-
采用滑动窗口方式对图像的每个部分应用提示引导分类。
-
通过生成文本嵌入来训练前馈神经网络。
-
从CLIP的嵌入中提取正常和异常特征。
-
实现了无需训练图像的无类别异类检测。
-
在零样本设置下取得了最新性能。
➡️