现成孪生 transformer 网络的近似归属度
内容提要
该文综述Transformer模型可解释性研究，涵盖Siamese编码器局部归因、自注意力归因、句子转换器名词偏差、BERT决策解释、知识神经元事实与语法知识归因，以及合成图像溯源验证框架，揭示模型内部信息处理机制。
延伸解读
可解释性方法的多维度探索
文章综述了多种Transformer可解释性方法，包括Siamese编码器的局部归因、自注意力归因、句子转换器的名词偏差分析、BERT决策解释、知识神经元归因以及合成图像溯源验证。这些方法从不同角度揭示模型内部信息处理机制，如特征对归因、注意力头重要性、知识存储层次等，为理解黑盒模型提供了多样化工具。
归因结果的稀疏性与局限性
针对Siamese编码器的局部归因研究表明，在句子转换器中，少数令牌对通常能解释大部分预测结果，但准确预测仍需关注大多数令牌和词性。这提示归因方法在提供简洁解释的同时，可能遗漏对模型决策有贡献的分散信息，实际应用中需权衡解释的稀疏性与完整性。
知识归因的层次与分散特性
知识神经元框架的研究发现，事实知识多归属于Transformer的中高层，关系信息则更多由中间层处理，最后数层提炼出正确答案。语法知识比事实知识更为分散。这一层次化归因结果有助于定位模型中的知识存储与处理区域，为模型编辑和知识注入提供参考。
合成图像溯源的开放集挑战
针对合成图像归因，传统方法受限于已知架构，难以应对未知生成模型。提出的孪生网络验证框架能在封闭集和开放集场景下运行，判断两幅图像是否由同一架构生成，或验证关于生成架构的声明。实验涵盖GAN、扩散模型和Transformer，在合成人脸图像上表现出强泛化能力，提升了实际场景适用性。
Q&A
Siamese编码器的局部归因方法是如何实现的？
该方法通过将相对于单个输入的集成梯度原理推广到具有多个输入的模型，采用特征对归因的形式，并可简化为用于sentence transformers的令牌-令牌矩阵。
自注意力归因方法在BERT等模型中有哪些应用？
自注意力归因方法可用于识别重要的注意力头，构建注意力树，揭示Transformer内的分层交互，以及用作敌对模式实现非定向攻击。
SOTA句子转换器存在什么偏差？
SOTA句子转换器具有强烈的从属名词集偏差，这种偏差是在词汇和语法结构预定义的条件下得出的。此外，成对句子之间的余弦相似度更受其名词成分集的重叠程度影响，而对于其他更精细的句法语义成分则不那么敏感。
如何解释BERT在序列分类任务中的决策？
该研究对BERT在序列分类任务中的决策方法进行解释，并对现有的四种属性方法进行了广泛的分析，以应用于四个不同的情感分析数据集。通过各种消融研究比较了每种方法的可靠性和稳健性，并测试属性方法是否能解释语义上相似的任务的广义语义。
Knowledge Neurons框架如何归因事实和关系知识？
研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的事实知识或“正确答案”。此外，该模型可处理不同语言的提示，但提供了类似的信息，进一步证明了多语言预训练技术的有效性。研究还将归属方案应用于语法知识，发现语法知识比事实知识更为分散。
合成图像溯源验证框架是如何工作的？
该框架依赖于孪生网络，以解决将合成图像归因为生成它们的架构的开放集问题。它考虑两种设置：第一种设置，系统确定两幅图像是否由同一生成架构产生；第二种设置，系统验证关于用于生成合成图像的架构的声明，利用由声称的架构生成的一个或多个参考图像。所提出系统的主要优势在于其能够在封闭集和开放集场景下运行，使得输入图像，无论是查询图像还是参考图像，都可以属于训练过程中考虑的架构或不属于它们。
