解读CLIP：关于对ImageNet分布变化鲁棒性的洞察
💡
原文英文，约300词，阅读约需2分钟。
📝
内容提要
本文探讨了强健模型与非强健模型的区别，分析了16个零-shot CLIP视觉编码器的表示空间。研究发现，强健模型中存在异常特征，表明其对ImageNet分布变化的鲁棒性。零-shot CLIP模型编码了更多独特概念，但与鲁棒性无关，可能与语言监督有关。这些异常特征有助于评估预训练模型的鲁棒性。
🎯
关键要点
- 强健模型与非强健模型的区别主要体现在训练数据的不同。
- 研究分析了16个零-shot CLIP视觉编码器的表示空间。
- 强健零-shot CLIP视觉编码器中存在异常特征，这是首次在非语言和非变换器模型中观察到。
- 异常特征的存在表明模型对ImageNet分布变化的鲁棒性。
- 零-shot CLIP模型编码了更多独特概念，但与鲁棒性无关，可能与语言监督有关。
- 异常特征的检测不需要访问任何来自变化数据集的数据，可能成为评估预训练模型鲁棒性的有用工具。
➡️
