神经网络中语义相似性与空间对齐的解耦

本研究探讨了不同初始化的深度神经网络在神经元激活子空间匹配中的表现。

提出了最大匹配和简单匹配的核心概念。

发现不同初始化训练的网络中学习出的卷积层表示并不如预期相似。

介绍了基于规范相关分析（CCA）的方法来比较神经网络表示，并提出了相似度指数。

相似度指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。

提出了两种方法量化CNN潜在空间中语义信息的相似度，以解决模型透明性问题。

研究表明相似的语义概念在所有CNN体系结构中学习，并且相似的概念出现在相似的相对层深度中。

提出了一种Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度。

通过模拟时间序列的视觉经验，研究表明时间和既视感对齐可能解释人类某些形式的语义知识起源。

提出了一个通用框架，可在人类和深度神经网络中产生可比较的表示，揭示了它们在处理图像时的重大差异。

本研究提出了第一个综合基准（ReSi），通过多种相似性测量测试，推动代表性相似性的研究。