使用稀疏自编码器解释注意力层输出

引入门控稀疏自编码器（Gated Sparse Autoencoder）解决稀疏自编码器中的估计偏差问题，实现语言模型激活的解释性特征的无监督发现。

应用稀疏自编码器于卷积神经网络的早期视觉层，揭示新的可解释特征，包括额外的曲线检测器和更具单一语义的神经元组成要素。

使用稀疏自编码器识别语言模型内部的方向，消除超级位置现象，提高模型的透明度和可操控性。

提出评估特征字典的框架，发现稀疏自编码器在捕捉可解释特征方面不如受监督特征有效，并观察到特征遮挡和特征过度拆分现象。

介绍使用离散稀疏自编码器在大型语言模型中发现可解释电路的方法，能够从正例中识别与电路相关的注意力头，提升准确率和召回率。

提出使用k-稀疏自编码器直接控制稀疏性，改进重构-稀疏性的界限，并引入新的特征质量评估标准。

提出结构化自编码器（Structuring AutoEncoders），使用弱监督形成结构化的低维空间，提高数据表示和分类的效率。

通过端到端稀疏字典学习方法训练稀疏自编码器，确保学习到的特征对网络功能的重要性，提升网络性能解释和特征数量的减少。