研究注意力头中的神经元消融：关注峰值激活中心化

本研究针对转换器模型中注意力机制的神经元激活表示不够理解的问题，提出了一种新的“峰值消融”方法及其他消融技术的比较。实验结果表明，不同消融方法在不同模型和环境下对模型性能的维护效果不同，尤其是峰值消融方法在有效性上表现优越，从而为模型解析提供新的视角。