Enhanced Out-of-Distribution Detection through Cross-Modal Alignment of Multi-Modal Representations

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新策略,通过多模态微调方法显著改善OOD检测性能,关键在于正则化图像与文本嵌入间的距离,增强跨模态对齐。实验结果表明,该方法在ImageNet-1k OOD基准数据集上优于现有技术,达到最先进的检测表现。

🎯

关键要点

  • 本研究提出了一种新策略,通过多模态微调方法显著改善OOD检测性能。

  • 关键在于正则化图像与文本嵌入间的距离,增强跨模态对齐。

  • 该方法更好地利用了预训练的文本信息。

  • 实验结果表明,该方法在ImageNet-1k OOD基准数据集上优于现有技术,达到最先进的检测表现。

➡️

继续阅读