利用大型语言模型对异常样本曝光进行预测以进行离群检测
内容提要
本文探讨了基于大型语言模型的异常检测方法，如ODPC、POE和NegLabel，展示了它们在视觉超出分布（OOD）检测中的优越性能。研究表明，结合世界知识和特定提示词生成可以显著提升检测效果，并在多个基准数据集上取得了最先进的结果。
延伸解读
方法演进：从生成提示到负标签
文章梳理了基于大型语言模型的异常检测方法演进：ODPC通过生成具有ID语义的OOD对等类来改善类别边界；POE通过遮盖ID相关令牌构建替代OOD数据集；NegLabel则利用大量负标签设计OOD得分方案。这些方法均报告了最先进性能，但核心思路不同：ODPC侧重生成，POE侧重遮盖，NegLabel侧重负标签利用。读者可关注其设计哲学差异。
多模态与零样本检测的进展
CLIPScope和ZOC代表了零样本OOD检测的进展。CLIPScope通过贝叶斯后验更新归一化置信度，并利用大型词汇数据库挖掘类标签；ZOC则通过文本描述生成和置信度评分实现未知分类检测。两者均在多个基准数据集上取得优于基准的性能，但CLIPScope强调覆盖OOD样本，ZOC强调多模态表示学习。
语言潜在表示的透明性与可控性
文章指出，利用CLIP编码的图像和文本表示的余弦相似度作为新表示，可改善视觉异常检测潜在编码的透明性和可控性。实验表明，基于语言的潜在表示比传统视觉编码器的表示更好，并在与标准表示结合时提升检测性能。这提示读者，语言信息可能为异常检测提供更可解释的线索。
基准需求与未来方向
文章在全面实验研究后指出，需要基于实验研究建立新的视觉异常检测基准。同时，使用最近邻特征相似度作为OOD检测得分的对比语言-图像预训练模型实现了最先进的无监督OOD性能，且无需内部分布微调即可获得有监督的最先进性能。这表明现有基准可能不足以全面评估方法，未来需更贴近实际场景的基准。
Q&A
ODPC方法是如何改善异常检测的？
ODPC方法通过生成特定提示词产生具有ID语义的OOD对等类，改善类别边界清晰度，从而提高异常检测性能。
NegLabel方法的主要优势是什么？
NegLabel方法利用大量负标签设计OOD得分方案，实验证明其在各种OOD检测基准上实现了最先进性能，具有良好的泛化能力和鲁棒性。
CLIPScope方法在OOD检测中有什么创新？
CLIPScope方法通过归一化样本置信度得分，利用大型词汇数据库挖掘类标签，展示了在各种OOD检测基准中的最先进性能。
POE方法是如何构建OOD数据集的？
POE方法通过遮盖与ID类相关的令牌，构建替代性OOD数据集，使其与ID数据具有相似的表示。
ZOC方法在未知分类检测中表现如何？
ZOC方法通过文本描述生成和置信度评分实现未知分类的检测，在多个基准数据集上展现了更好的性能。
如何利用大型语言模型进行异常检测？
通过选择性生成和一致性基准不确定性校正方法，结合世界知识，可以显著提高异常检测的性能。
