本文探讨了强健模型与非强健模型的区别，分析了16个零-shot CLIP视觉编码器的表示空间。研究发现，强健模型中存在异常特征，表明其对ImageNet分布变化的鲁棒性。零-shot CLIP模型编码了更多独特概念，但与鲁棒性无关，可能与语言监督有关。这些异常特征有助于评估预训练模型的鲁棒性。