描述和解剖:使用语言模型解释视觉网络中的神经元
原文中文,约300字,阅读约需1分钟。发表于: 。本文提出了一种描述和解析(DnD)的新方法,利用多模态深度学习的最新进展来产生复杂的自然语言描述,无需带标签的训练数据或预定义的概念选择集。通过广泛的定性和定量分析,我们展示了 DnD 在提供更高质量神经元描述方面的优越性,并且与最佳基线相比,我们的方法平均提供了最高质量的标签,并且更有可能被选为神经元的最佳解释。
本研究提出了一种通用框架,通过评估隐藏单元与语义概念之间的对齐来量化CNN的可解释性。该方法测试了不同网络的潜在表示,并分析了训练迭代、网络初始化、深度和宽度的影响。结果显示该方法能揭示超出CNN模型和训练方法辨别能力之外的特征。