关于逐层表示相似性的研究：用于具有单个分类器的多出口模型的应用
内容提要
本文介绍了一种基于规范相关分析的神经网络表示比较方法，提出了相似度指数来测量表示相似性。研究表明，神经网络的表征学习与模型架构、学习速率等因素密切相关，不同层之间的动态表现出层级相关性。通过分析，提出了改进神经网络评估方法的框架，并探讨了处理离域样本时的表现与相似性度量的关系。
延伸解读
相似度指数的优势与局限
文章提出的相似度指数基于规范相关分析，与中心核对齐密切相关，但不受高维表示限制，可靠性更高。然而，文章也指出CKA值容易被操纵而不需对模型做实质性改变，因此在利用活动对齐度量时需谨慎。这提醒研究者在比较神经网络表示时，应结合多种度量方法，并关注其潜在弱点。
架构与训练因素对表示相似性的影响
研究表明，神经网络的表征学习与模型架构、学习速率等因素密切相关。例如，CNN层内表示随深度增加表现出层级相关性，而LSTM中未观察到，Transformer编码器则呈现不规则相关性。此外，同一系列模型彼此更相似，不同架构可能具有相似表示但神经元不同。这些发现有助于理解不同架构的内部动态。
离域样本下的表示变化与稳健性
文章探讨了处理离域样本时模型表现与相似性度量的关系。研究发现，当模型对分布变化稳健时，离域数据上图像在网络层间的表示变化较大；而当模型无法泛化时，表示变化较小。这表明表示相似性度量可用于评估模型稳健性，并为通过加入中心核对齐作为归纳偏差来缓解离域问题提供了潜在应用方向。
Q&A
什么是相似度指数，它的作用是什么？
相似度指数是一种测量神经网络表示相似性的方法，与中心核对齐（CKA）相关，但不受高维表示限制，具有更高的可靠性。
神经网络的表征学习与哪些因素相关？
神经网络的表征学习与模型架构、学习速率等因素密切相关，不同层之间的动态表现出层级相关性。
如何改进神经网络的评估方法？
通过分析当前评估指标的缺陷，提出了一个框架来验证神经网络的行为，强调了对所有指标无法胜任的场景。
离域样本对神经网络模型的影响是什么？
处理离域样本时，模型对分布变化的稳健性影响表示的变化程度，稳健性强时表示变化大，反之则变化小。
本文提出的PNKA方法有什么应用？
PNKA方法用于分析个体输入在不同表征空间中的相似度，帮助理解深度神经网络的表征特征。
不同神经网络架构在表示相似性方面有什么区别？
不同架构的神经网络在表示相似性上表现不同，某些架构如CNN层内的神经表示随着层深度增加而表现出层级相关性，而LSTM则没有这种现象。
