基于人工提取的无人机驱动的异常检测：元引导提示策略中的提示优化
内容提要
本文介绍了多种视觉异常检测和分类的方法，如PromptAD、MPVR、AdvPT和ALFA。这些方法利用大型语言模型和提示调整技术，在少样本和零样本环境下显著提高了检测性能，尤其在MVTec和VisA数据集上表现优异。此外，研究还探讨了深度伪造检测和医学图像识别的应用，展示了视觉-语言模型的潜力。
延伸解读
少样本与零样本异常检测的进展
文章汇总了多种视觉异常检测方法，如PromptAD、MPVR、ALFA等，它们利用提示学习和视觉-语言模型，在少样本或零样本设定下显著提升性能。PromptAD在MVTec和VisA的11/12个少样本环境中取得第一名；ALFA在零样本设定下性能改进12.1%和8.9%。这些结果表明，提示策略能有效缓解工业检测中数据稀缺的问题。
视觉-语言模型在跨领域任务中的扩展
除了工业异常检测，文章还展示了视觉-语言模型在深度伪造检测和医学图像识别中的应用。通过将深度伪造检测转化为视觉问答，并利用提示调整，检测准确性得到提高；在医学图像识别中，结合伪提示生成实现了多标签分类和自动诊断。这体现了提示学习在跨领域任务中的通用性。
对抗鲁棒性与防御机制
文章提及AdvPT和SmoothVLM，分别针对视觉-语言模型中图像编码器的对抗鲁棒性和补丁式对抗性提示注入。AdvPT旨在改善对抗攻击的脆弱性，SmoothVLM则成功降低了攻击率并提高了上下文恢复率。这些工作提醒我们，在部署视觉-语言模型时需关注其安全性。
工业异常检测的新方法AnomalyGPT
AnomalyGPT利用大型视觉语言模型解决工业异常检测问题，通过模拟异常图像和生成文本描述来训练，并利用图像解码器提供细粒度语义。在MVTec-AD数据集上，它实现了86.1%的准确率、94.1%的图像级AUC和95.3%的像素级AUC，且无需手动阈值调整。这为工业检测提供了新的思路。
Q&A
PromptAD方法在异常检测中有什么优势？
PromptAD在MVTec和VisA数据集的11/12个few-shot环境中表现优异，能够通过自动学习提示改进工业异常检测任务。
MPVR方法是如何提升零样本分类器性能的？
MPVR通过简短的自然语言描述和最小信息输入，自动生成多样的类别特定提示，从而提升零样本分类器的性能。
AdvPT技术的主要目标是什么？
AdvPT技术旨在提升视觉-语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性。
ALFA方法在零射击视觉异常检测中取得了什么成果？
ALFA方法在MVTec AD和VisA数据集上取得了显著的12.1%和8.9%的性能改进，解决了零射击视觉异常检测的挑战。
AnomalyGPT是如何解决工业异常检测问题的？
AnomalyGPT通过模拟异常图像和生成文本描述来创建训练数据，消除了手动阈值调整的需求，并在MVTec-AD数据集上实现了高准确率。
SmoothVLM防御机制的效果如何？
SmoothVLM防御机制成功降低了视觉-语言模型中的补丁式对抗性提示注入的攻击率，并提高了上下文恢复率。
