模型和大脑之间的相似度分数的可微优化
内容提要
本文研究了Centered Kernel Alignment（CKA）算法在机器学习中的敏感性及其弱点，指出CKA值易被操控而不需实质性改变模型。通过去偏CKA，能够实现更准确的神经数据对齐，并提出新的相似性计算方法和量化标准，以提高神经网络的评估和比较效果。
延伸解读
CKA的脆弱性：评估指标可能被操纵
文章指出，Centered Kernel Alignment（CKA）对模型中的简单变化非常敏感，攻击者可以在不改变模型功能行为的情况下轻易操纵CKA值。这意味着仅凭CKA分数判断模型相似性可能产生误导，尤其在安全性敏感的场景中。因此，使用CKA作为对齐度量时需谨慎，并考虑结合其他指标进行综合评估。
神经数据对齐：去偏CKA的必要性
在fMRI和MEG等低数据高维度神经数据中，偏向CKA会因对特征-样本比率敏感而无法直接比较不同数据集，甚至随机矩阵对也会显示高度相似。只有使用去偏CKA才能实现真正的刺激驱动响应的正向对齐。这提醒研究者在跨数据集比较时，必须选择去偏版本以避免虚假相似性。
超越CKA：更可靠的表示相似性度量
文章介绍了基于规范相关分析（CCA）的神经网络表示比较方法，其相似度指数与CKA密切相关但不受高维表示限制，具有更好的可靠性。此外，Pointwise Normalized Kernel Alignment（PNKA）提供了更细粒度的个体输入相似度分析。这些新方法有助于更准确地评估神经网络表征，弥补CKA的不足。
从相似度到信任：决策相似度的实际影响
在人工智能协作中，决策相似度度量（如基于JSD的方法）可以衡量人类与模型之间的相似性。用户研究表明，人们倾向于与最相似的模型协作，但这种协作并不一定意味着相似的认知信任水平。因此，在设计和评估人机协作系统时，需区分相似性与信任，避免简单地将两者等同。
Q&A
CKA算法在机器学习中的主要问题是什么？
CKA算法对简单变化的敏感性高，容易被操控而不需实质性改变模型。
去偏CKA有什么优势？
去偏CKA能够实现更准确的神经数据对齐，避免对不同特征-样本比率的敏感性。
如何比较神经网络的表示？
可以使用基于规范相关分析（CCA）的方法来比较神经网络表示，具有更好的可靠性。
DreamSim标准的主要功能是什么？
DreamSim标准可以全面评估图片的相似性，关注前景物体和语义内容。
Pointwise Normalized Kernel Alignment（PNKA）方法的应用是什么？
PNKA用于分析个体输入在不同表征空间中的相似度，帮助理解深度神经网络的表征特征。
如何量化生物和人工神经网络的结构影响？
研究者需要标准化工具集来量化生物和人工神经网络的结构影响，并提出了一系列量化表征的方法。
