修正生物和人工神经网络中偏差的中心核对齐度测量
内容提要
本文研究了Centered Kernel Alignment（CKA）算法在机器学习中的敏感性及其弱点，指出CKA值易被操控而不需实质性改变模型。提出了一种基于规范相关分析的相似度指数，以增强表示比较的可靠性。同时，探讨了深度网络中激活模式的相似性度量及其对模型性能的影响，强调了评估指标的缺陷，为未来研究提供了基础数据。
延伸解读
CKA的脆弱性：评估指标可能被操纵
文章指出，中心核对齐（CKA）对简单变化敏感，其值可在不实质改变模型功能行为的情况下被操纵。这意味着仅凭CKA值判断模型相似性可能产生误导，尤其在比较不同训练方式或架构时需谨慎。研究者应意识到评估指标本身的局限性，避免过度依赖单一度量。
基于CCA的改进：提升表示比较可靠性
为克服CKA的弱点，文章提出一种基于规范相关分析（CCA）的相似度指数，用于测量表示相似性矩阵之间的关系。该方法与CKA密切相关，但不受高维表示限制，具有更高可靠性。这为表示比较提供了新思路，但需注意其与CKA的差异及适用场景。
评估指标的缺陷与经典基线的意外表现
文章通过功能行为敏感性和特异性测试常用评估方法，发现当前指标存在不同缺陷，而一个经典基线却表现出人意料的好。这提示研究者在选择评估指标时需全面考量，并关注那些简单但稳健的方法。同时，文章强调了所有指标都无法胜任的场景，为未来研究提供了挑战性基础。
PNKA：细粒度分析表征相似性
文章提出Pointwise Normalized Kernel Alignment（PNKA）量化方法，用于分析个体输入在不同表征空间中的相似度，从而更细粒度地理解深度神经网络的表征特征。PNKA可应用于分析误分类输入、神经元概念编码及公平干预对表征的影响，为表征分析提供了新工具。
Q&A
CKA算法在机器学习中的主要问题是什么？
CKA算法对简单变化的敏感性较高，容易被操控而不需实质性改变模型。
如何提高表示比较的可靠性？
可以采用基于规范相关分析（CCA）的方法来增强表示比较的可靠性，避免高维表示的限制。
Pointwise Normalized Kernel Alignment（PNKA）方法的用途是什么？
PNKA方法用于分析个体输入在不同表征空间中的相似度，帮助理解深度神经网络的表征特征。
当前评估指标存在哪些缺陷？
研究发现当前的评估指标存在不同缺陷，某些经典基线在特定场景下表现意外良好。
深度网络中激活模式的相似性度量有什么影响？
激活模式的相似性度量可以揭示不同训练方式之间的代表性差异及盲目训练的负面影响。
如何利用CKA理论分析模型表达差异？
CKA理论可以将大规模模型和轻量级模型之间的表达差异解耦为MMD的上界和一个常数项。
