超越概念瓶颈模型：如何使黑箱可干预？
内容提要
概念瓶颈模型通过概念表示提升深度学习可解释性。相关研究包括：CB2M利用双重记忆推广干预并纠错；交互式CBM询问人类标签提升准确率；PCBM无需密集概念标注即可转换任意网络；IntCEMs学习干预策略；ProbCBM建模不确定性；SurroCBM自动发现概念解释黑盒；Label-free CBM无需标注概念数据。
延伸解读
从静态解释到动态干预
概念瓶颈模型（CBM）最初通过概念层提供内在解释，但解释本身并不改变模型行为。CB2M、IntCEMs等研究将重点转向干预：CB2M利用双重记忆推广干预并纠错，IntCEMs在训练时学习干预策略。这表明CBM正从“可解释”走向“可干预”，让用户能主动修正模型错误，提升实用价值。
降低概念标注依赖的路径
传统CBM需要密集的概念标注，成本高昂。PCBM和Label-free CBM致力于减少这种依赖：PCBM无需密集标注即可转换任意网络，并能从其他数据集或自然语言描述转移概念；Label-free CBM无需标记概念数据，且已扩展到ImageNet。这些进展使CBM更易落地，但概念质量与可解释性之间的平衡仍需关注。
可靠性与鲁棒性挑战
ProbCBM通过建模概念预测的不确定性来提高可靠性，而针对概念模型的对抗攻击研究则揭示了鲁棒性风险。此外，中间嵌入概念学习可能包含超越预定义概念的信息，导致解释误导。这些工作提醒我们，CBM的解释并非绝对可靠，需结合不确定性建模和对抗防御来提升可信度。
Q&A
概念瓶颈模型（CBM）是什么？它如何提升深度学习可解释性？
概念瓶颈模型（CBMs）通过概念表示提供内在解释，解决传统深度学习模型缺乏解释性的问题。它通过构建和解释高层概念的预测，使神经架构不再不透明。
CB2M模型是如何工作的？它有什么优势？
CB2M（概念瓶颈记忆模型）通过两重记忆，能够在新情境中学习推广干预，纠正模型的预测结果，从而自动改进模型性能。实验表明，CB2M可以成功推广到未见数据并识别错误的概念，是用户提供CBM互动反馈的有效工具。
PCBM如何将任意神经网络转换为可解释的CBM？
PCBM（后续概念瓶颈模型）可以将任何神经网络转换为具有解释性的概念瓶颈模型，无需在训练数据中密集注释概念，同时保持模型性能和解释性优势。它还可以从其他数据集或自然语言描述中通过多模式模型转移概念，实现全局模型编辑。用户研究表明，通过概念层反馈编辑PCBM可以在不使用目标域或模型重新训练的数据的情况下，显著提高性能。
IntCEMs是什么？它如何利用概念干预提升性能？
IntCEMs（Intervention-aware Concept Embedding models）是一种基于概念瓶颈模型的新架构和训练范式，通过在训练时学习概念干预策略，有效地选择和接受概念干预，从而在测试时显著提高性能。实验证明，当提供测试时概念干预时，IntCEMs明显优于最先进的概念可解释模型。
ProbCBM如何通过建模不确定性提高可靠性和解释性？
ProbCBM（概率概念瓶颈模型）通过建模概念预测的不确定性来提高可靠性和解释性。它不仅可以提供高水平的概念推导，还可以推断类不确定性。
SurroCBM是什么？它如何解释黑盒模型？
SurroCBM（Concept Bottleneck Surrogate Models）是一个新颖框架，旨在通过自动发现的概念来解释黑盒模型。它通过自动生成的数据提供有效的训练策略，不断提高解释质量，并在概念发现和解释方面表现出有效性。
Label-free CBM如何实现无需标记概念数据的可解释性？
Label-free CBM是一种新框架，能够将任何神经网络转换成可解释的CBM，而无需标记的概念数据，且准确性高。它已成功扩展到ImageNet数据集上，整个创建过程只需要几个小时，未来能在实际场景中大规模应用。
