生成语言模型中神经元信息性文本描述的探索
内容提要
该文综述神经网络可解释性研究，重点探讨用自然语言解释深度模型神经元，涵盖可解释自然语言理解框架、多模态神经元、特征文本化、自动化神经元解释及忠实度评估，并指出神经元未必对应清晰语言单元，自然语言解释的可靠性仍存疑。
延伸解读
神经元解释的忠实度挑战
文章指出，即使是最有信心的自然语言解释，也可能存在高错误率和几乎没有因果效果。这意味着，尽管自然语言解释看起来直观，但其可靠性仍需谨慎评估。读者应关注解释的忠实度评估方法，而不仅仅是解释的表面合理性。
神经元与语言单元的错位
研究发现，神经元并不代表清晰的语言符号单元如词。这挑战了将神经元直接对应到语言概念的假设。在理解模型内部机制时，需注意神经元可能编码更分散或复杂的特征，而非简单的语言单元。
多模态神经元的因果作用
通过向文本转换器添加视觉信息，研究者识别出多模态神经元，并证明它们在特定视觉概念上操作，对图像字幕生成产生系统性因果影响。这表明跨模态信息整合在模型内部有具体神经元基础，为多模态可解释性提供了线索。
自动化解释的应用前景
文章提到自动化方法如MILAN，通过互信息引导生成细粒度神经元描述，促进对神经网络的理解、分析和控制。这类技术有望提升大型语言模型的可解释性和安全性，但需注意其解释的准确性和适用范围。
Q&A
什么是可解释自然语言理解框架？
该框架使用一小部分人类注释的解释进行训练，并采用变分EM方法进行优化，同时提出了基于解释的自训练方法，在自然语言理解任务上能有效预测并生成良好的自然语言解释。
多模态神经元是如何被发现的？
通过向文本转换器添加视觉信息，利用自监督视觉编码器和单一线性投影将一种模态的学习表示迁移到另一种模态，在转换器内部发现了模态之间的转换，并通过识别多模态神经元和解码它们注入模型剩余流的概念来验证其作用。
特征文本化技术有什么发现？
特征文本化技术用于提取预训练语言模型中神经元的知识表示，发现这些表示可以揭示关于神经元所编码的知识的见解，但神经元并不代表清晰的语言符号单元如词。
如何评估自然语言解释的忠实度？
开发了两种模式的自然语言解释评估方法，以评估声称单个神经元在文本输入中表示概念的解释的真实性。应用于GPT-2 XL神经元的GPT-4生成的解释，显示即使最有信心的解释也存在高错误率和几乎没有因果效果。
MILAN程序是什么？
MILAN是一种通过相互信息引导的语言注释对神经元进行自动标记的程序，可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。
自然语言解释神经元的可靠性如何？
自然语言解释的可靠性仍存疑，即使最有信心的解释也存在高错误率和几乎没有因果效果，且神经元未必对应清晰语言单元。
