语言模型可解释性的全局到局部支持谱
内容提要
本文介绍了一系列基于不变风险最小化原则的模型无关解释方法，涵盖文本分类、概念提取和大型语言模型的解释技术。研究表明，适当的概念识别和局部解释方法能显著提高模型的可解释性和性能，并探讨了不同模型的解释复杂度及其对训练随机性的敏感性。
延伸解读
解释方法的时间演进
文章按时间顺序列出了从2022年1月到2024年6月的一系列研究，展示了可解释性方法从局部解释到全局解释、从文本分类到大型语言模型的扩展过程。读者可以从中看出该领域研究热点的变迁，以及不同方法之间的继承与发展关系。
概念解释与局部解释的对比
文章提到CRAFT方法通过识别适当粒度的概念，比仅强调最显著部分的归因方法效果更好。这表明基于概念的解释可能提供更符合人类理解的信息，而局部解释方法如渐进逼近则通过反事实完善决策领域，两者在提升可解释性上各有侧重。
大型语言模型解释的挑战
文章指出大型语言模型的解释对训练随机性敏感，且基于特征的简单模型解释表现更好。这提示读者，当前LLM的解释方法可能受随机性影响，且简单模型在可解释性上仍有优势，改进信号和噪音定义可能捕捉更复杂解释，但可信度存疑。
计算复杂性与解释对偶性
文章使用计算复杂性理论评估局部和全局解释性，证明了局部和全局解释之间的对偶性以及某些全局解释形式的独特性，并比较了线性模型、决策树和神经网络在计算解释复杂度上的差异。这为理解不同模型解释难度提供了理论视角。
Q&A
什么是基于不变风险最小化原则的局部解释方法？
基于不变风险最小化原则的局部解释方法能够稳定、直观地生成高保真度解释，消除黑盒函数梯度在附近范围内的突然变化特征。
CRAFT方法在模型解释中有什么作用？
CRAFT方法用于识别基于概念的解释，并引入三种新的自动概念提取方法，实验表明适当粒度的概念识别能提供有用信息。
如何提高文本分类器的局部模型无关解释质量？
通过渐进逼近方法，使用反事实完善待解释决策的领域，从而提高邻域质量。
大型语言模型的解释技术面临哪些挑战？
大型语言模型的解释技术在训练范式、生成局部和全局解释方面存在应用挑战和评估指标的复杂性。
什么是Therapy方法，它的主要特点是什么？
Therapy是第一个针对文本适应性的全局模型无关解释方法，通过合作生成文本来跟踪分类器学习的分布，提供对模型行为的全局概述。
如何使用计算复杂性理论评估模型的解释性？
使用计算复杂性理论可以评估机器学习模型的局部和全局解释性，比较不同模型在计算解释复杂度方面的差异。
