对 Makelov 等人（2023 年）的 “可解释性幻觉” 论点的回应
内容提要
多篇论文探讨深度学习可解释性：简化模型在分布外可能不忠实，导致理解幻觉；DAS方法可高效搜索大语言模型中的因果结构；子空间干预可能造成虚假解释；解释性模型与黑箱结合可提升性能；但检查Transformer个别注意力头或权重矩阵的解释可能误导。
延伸解读
简化模型在分布外可能不忠实
文章指出，使用简化模型表示来研究深度学习系统时，常假设简化结果忠实于原始模型。但研究发现，即使简化表示在训练集上能准确近似全模型，在分布之外也可能无法准确捕获模型行为，导致理解上的幻觉。这意味着依赖奇异值分解等工具进行机械解释时，其对新情况下行为的预测可靠性存疑。
子空间干预可能产生虚假解释
文章强调，机械可解释性中通过子空间干预同时操纵模型行为和归因特征，但这两个目标可能不同。即使干预使输出看似特征值变化，效果也可能通过因果断开的并行路径实现，造成虚假解释感。不过，这并非否定子空间干预，在间接对象识别任务中，结合手动电路分析仍有成功案例。
检查个别注意力头或权重矩阵可能误导
文章通过理论结果和合成数据实验，对专注于Transformer个别部分（如注意力模式或权重矩阵）的解释方法提出批判。在学习有界Dyck语言的简单设置中，单层注意力模式可能几乎随机化，同时保持网络功能性。因此，基于检查个别头部或权重矩阵的解释性声明可能是误导性的。
可解释模型与黑箱结合可提升性能
文章提到，将可解释的学习模型建模为多级量化器，并证明在特定抽象条件下，具有可解释分类器的人类和黑匣子分类器组成的系统性能优于只有黑匣子分类器的系统。这表明可解释性不仅有助于理解，还可能在实际系统性能上带来优势。
Q&A
什么是可解释性幻觉？
可解释性幻觉是指简化模型在训练集上能准确近似全模型，但在分布之外无法准确捕获模型行为，导致对模型理解产生幻觉的现象。
DAS方法如何帮助理解大语言模型？
DAS（分布式对齐搜索）通过替换搜索过程并训练参数，能高效搜索大语言模型中的因果结构。应用于Alpaca模型时，它实现了具有两个可解释布尔变量的因果模型来解决数值推理问题，且神经表示与这些变量的对齐具有鲁棒性。
子空间干预为什么可能导致虚假解释？
子空间干预可能通过激活与模型输出因果断开的并行路径来改变输出，即使输出表现好像特征值变化，这种效果也可能不反映真实的因果机制，从而产生虚假解释。
检查Transformer的注意力头或权重矩阵能可靠解释模型吗？
不能。研究表明，基于检查Transformer中个别注意力头或权重矩阵的解释性声明可能是误导性的，因为模型可能以不同方式实现相同功能，注意力模式可能几乎随机化而不影响网络功能。
可解释模型与黑箱模型结合能提升性能吗？
是的。通过分布式检测理论对两节点串联数据融合系统的研究表明，在提出的抽象条件下，具有可解释分类器的人类和黑匣子分类器组成的系统性能优于只有黑匣子分类器的系统。
解释性深度学习系统存在哪些安全风险？
解释性深度学习系统脆弱性高，存在预测-解释不一致性，可能导致对抗攻击（如ADV^2），这种攻击具有欺骗性和实名性可行性。
