特征强调：揭示自然图像中的哪些特征应对
内容提要
本文综述深度神经网络的可视化与可解释性研究，涵盖激活最大化、特征可视化、显著性图、注意力机制及预训练模型分析。研究表明，自然图像比合成图像更利于理解卷积网络；特征文本化可揭示语言模型神经元知识，但神经元并非清晰的语言符号；通过亲和矩阵分析生成转换器，可揭示“在哪里”与“是什么”两条信息路径。
延伸解读
自然图像为何更利于理解卷积网络
文章指出，自然图像比合成图像更有利于理解卷积神经网络的信息处理。这可能是因为自然图像包含更丰富的纹理、结构和语义变化，能更全面地激发神经元响应，从而更真实地反映网络在现实场景中的特征提取方式。这一结论提示研究者在进行网络可解释性分析时，应优先考虑使用自然图像作为刺激材料。
特征文本化的潜力与局限
针对大型预训练语言模型，特征文本化技术能提取神经元的知识表示，并揭示其编码的语义信息。然而，文章强调神经元并不代表清晰的语言符号单元（如词），这意味着神经元的响应可能是分布式、重叠或模糊的。因此，在解读语言模型内部知识时，需谨慎对待神经元级别的解释，避免过度简化。
生成转换器中的“在哪里”与“是什么”路径
通过分析预训练生成转换器的亲和矩阵，研究发现模型内部存在两条信息路径：关键字和查询向量根据空间接近度协调信息流，形成“在哪里”路径；值向量则用于完善语义类别表示，形成“是什么”路径。这一发现揭示了转换器处理空间布局和对象身份的计算策略，为理解其内部机制提供了新视角。
Q&A
什么是激活最大化（Activation Maximization）？它在神经网络可解释性中有什么作用？
激活最大化是一种神经科学方法，利用机器学习技术综合推理神经元的首选刺激，以强烈激发人造或生物大脑中的单个细胞或细胞组。它被广泛应用于解释性人工智能，通过可视化单元响应来帮助理解神经网络，并在网络调试和解释方面有应用。
自然图像和合成图像哪个更适合理解卷积神经网络的信息处理？
自然图像比合成图像更有利于理解卷积神经网络的信息处理。实验比较表明，自然图像的信息传递成效更好。
特征文本化技术是什么？它能否揭示语言模型神经元的知识？
特征文本化技术用于提取预训练语言模型中神经元的知识表示。研究发现这些表示可以揭示关于神经元所编码知识的见解，但神经元并不代表清晰的语言符号单元如词。
如何通过亲和矩阵分析生成转换器来理解其计算策略？
通过基于梯度下降的优化目标在各个层中的特征比较得到一组亲和矩阵，对预训练的生成转换器进行分析，可以揭示其学得的计算策略。将亲和性与关键字查询相似性等同起来，得到编码场景空间布局的特征向量（“在哪里”路径）；将亲和性与值向量相似性定义为特征向量，得到编码对象身份的特征向量（“是什么”路径）。
输入无关的显著性地图方法有什么优势？
输入无关的显著性地图方法从计算上估计模型对其输出所归属的高级特征，并通过可解释的可视化展示，以更准确和公正地解释模型行为。它在大规模模型中成功应用，并能通过识别受损分类器中的后门签名展示新用途。
基于注意力机制的深度神经网络解释方法是如何工作的？
该方法通过可视化生成的热图分析分类准确性和注意力之间的关系，并证明使用改进注意力方法可以更好地展示分类器的解释。
