【Transformer 与注意力机制】53｜机制可解释性：电路、诱导头与叠加态的边界
内容提要
本文探讨机制可解释性，强调电路分析需基于因果证据而非标签。通过induction head和IOI电路案例，说明激活修补可提供因果证据但可能产生幻觉。叠加现象使单神经元解释不可靠，稀疏自编码器可扩展但特征不完整。该方法对AI安全有工具价值，但尚不能完整解释模型。
延伸解读
因果证据的边界
机制可解释性强调因果证据，但因果证据也有局限。Olsson等人对induction head的因果性措辞谨慎：在玩具模型中是强因果证据，在带MLP的大模型中只是相关性证据。Makelov等人进一步证明，activation patching可能通过休眠并行通路产生“解释幻觉”，即使行为恢复，也不一定代表找到了真正的因果机制。因此，因果结论需要额外验证，不能默认“因果”标签自带正确性。
叠加态与SAE的局限
叠加现象说明单个神经元不可靠，SAE试图拆解叠加特征，但扩展至生产模型时暴露问题：Templeton等人发现，Claude 3 Sonnet的SAE特征集合不完整，死特征比例随规模上升（34M特征时高达65%），且缺乏独立验证方法。这意味着SAE虽能扩展，但“扩展成功”不等于“解决可解释性”，特征是否对应真实计算单元仍是开放问题。
自动化电路发现的代价
ACDC尝试自动化电路发现，但代价高昂：前向传播次数随节点数指数增长，且对超参数敏感，还会漏掉如Negative Name Mover Head等组件。后续的attribution patching虽降低计算成本，但仍是近似方法。这提醒我们，即使在小模型上，自动化电路发现也需在计算代价、鲁棒性和完整性之间权衡，生产规模模型更难。
Q&A
什么是机制可解释性中的电路（circuit）？它和仅仅给组件贴标签有什么区别？
电路是指模型内部一组组件及其连接，被证明共同实现了某个具体行为。它要求可反驳的因果主张，比如切断这些组件行为会消失，替换到损坏输入行为会恢复。而贴标签只是给组件起名字，不构成因果解释。
induction head 是什么？它在玩具模型和大模型中的证据强度有何不同？
Induction head 是一种通过 K-composition 组合 previous token head 实现 [A][B]...[A]→[B] 模式补全的两层机制。在玩具模型中有强因果证据，但在带 MLP 的大模型中，Olsson 等人明确表示只有相关性证据，而非因果证明。
GPT-2 small 完成 IOI 任务需要多少个 attention head？它们分为几类角色？
需要 26 个 attention head，分为 7 类角色，包括 Duplicate Token Head、Previous Token Head、Induction Head、S-Inhibition Head、Name Mover Head 和 Negative Name Mover Head 等。
activation patching 是什么？它如何提供因果证据？它有哪些失败模式？
Activation patching 是将干净输入下的激活替换到损坏输入中，观察输出是否恢复，从而定位关键组件。它提供因果证据，但可能产生解释幻觉，比如通过休眠并行通路产生效果，而非真正因果路径。
什么是 superposition？它为什么导致单个神经元解释不可靠？
Superposition 是指当特征数量远超模型维度且特征稀疏时，多个特征叠加编码进同一组维度。这导致神经元呈现多义性，对多个无关概念都有响应，因此找单个神经元的最大激活样本解释其意义会误导。
Sparse Autoencoder（SAE）在扩展到生产模型时遇到了哪些问题？
SAE 在 Claude 3 Sonnet 上扩展到 3400 万特征，但重建只能解释至少 65% 的激活方差，死特征比例随规模上升（34M 时约 65%），且缺乏严格方法验证特征是否忠实反映真实计算。
ACDC 在自动发现电路时有什么代价和局限？
ACDC 需要指数级前向传播次数，对超参数敏感，且会漏掉某些真实组件，如 Negative Name Mover Head。后续的 attribution patching 降低了计算成本，但仍是近似方法。
机制可解释性对 AI 安全能做什么，不能做什么？
它能提供工具性价值，如通过 SAE 特征干预模型行为，但尚不能完整解释模型或穷尽危险认知。特征集合不完整，电路发现方法有遗漏，因此只能作为诊断工具之一，而非安全充分手段。
