深度神经网络背景偏差减轻的更快 ISNet
内容提要
该文综述多种深度神经网络可解释性方法：通过区域扰动评估热图，发现层级相关传播（LRP）在解释分类决策上更优，并探索利用热图无监督评估网络性能；LRP还用于EEG分析与分类器策略比较。此外，研究提出split training以减少背景纹理学习、NASNet用于小数据下的结构搜索、SENet减少ReLU延迟、Salient ImageNet评估虚假特征及核风险最小化、SR map二步解释、ScaleNet多尺度无监督表示学习等方法。
延伸解读
可解释性方法比较：LRP 的优势与热图评估
文章通过区域扰动方法评估热图，比较三种方法后发现基于层级相关传播（LRP）的热图对分类决策的解释效果更好。这提示在需要理解模型决策依据时，LRP 可作为优先考虑的可视化手段。同时，文章还探讨了利用热图进行网络性能无监督评估的可能性，为缺乏标注数据时评估模型提供了思路。
减少背景纹理依赖：split training 与核心特征学习
针对卷积神经网络容易学习背景纹理的问题，文章提出 split training 两步训练过程，结合均方误差损失和交叉熵损失，使模型更关注形状和结构而非背景，在简单 CNN 及 VGG、DenseNet 等架构上准确率更高。另一项工作 Salient ImageNet 则评估模型对虚假特征的依赖，并提出核风险最小化，使核心准确率比经验风险最小化高约 12%，且干扰后干净准确率未下降。
跨领域应用与高效结构探索
LRP 不仅用于图像分类，还被应用于 EEG 数据分析，在分类准确性可比的情况下提供神经活动的高分辨率评估，缓解深度网络在神经科学中可解释性不足的问题。此外，NASNet 通过在小数据集上搜索结构并迁移至大数据集，结合调度 DropPath 技术提升 ImageNet 分类正确率；SENet 则通过减少 ReLU 神经元降低延迟，提高隐私推断效率。这些工作展示了可解释性与效率优化的多样路径。
Q&A
有哪些方法可以评估深度神经网络分类决策的热图解释力？
文章使用基于区域扰动的方法评估热图，并比较了三种不同方法计算的热图对网络分类决策的解释力，结果发现基于层级相关传播（LRP）方法对解释分类决策的效果更好。
如何无监督地评估神经网络性能？
文章探讨了利用热图进行神经网络性能无监督评估的方法。
split training 是什么，它有什么作用？
split training 是一种新的两步训练过程，旨在减少卷积神经网络中对背景纹理的学习。它使用均方误差损失和交叉熵损失，对简单 CNN 架构和 VGG、Densenet 等多路硬件使用的深度 CNN 架构进行训练，其准确率更高，并且能够学习模仿更注重形状和结构而非背景的人类视觉。
LRP 如何帮助分析 EEG 数据？
研究利用 DNNs 和 LRP 应用于 EEG 数据分析，发现 DNNs 在分类准确性上具有可比性，并且通过 LRP 的热图，可以提供神经活动高分辨率的评估，这是解决 DNN 在神经科学应用中可解释性不足的潜在方案。
NASNet 是如何在小数据集上搜索模型结构的？
NASNet 提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，通过设计新的搜索空间并使用调度 DropPath 技术，提高了模型在 ImageNet 等数据集上的分类正确率。
Salient ImageNet 数据集和核风险最小化是什么？
Salient Imagenet-1M 数据集用于评估预训练模型对虚假特征的依赖性；核风险最小化是一种新的学习范式，旨在确保模型使用核心特征对类进行预测。评估发现，训练 Core Risk Minimization 模型的核心准确率比经验风险最小化模型高约 12%，并且干扰后没有降低干净准确率。
SR map 二步解释方法有什么特点？
SR map 是一种新的二步解释方法，可以更好地理解深度卷积神经网络如何识别图像并从所谓的注意区域中学习特征。该方法清楚地表明了哪些关键像素和注意力区域对于深度卷积神经网络理解给定的图像是有贡献的。
ScaleNet 是什么，它有什么优势？
ScaleNet 是一种简单高效的无监督表示学习方法，通过使用多尺度图像来增强有限信息条件下卷积神经网络 (ConvNets) 的性能，并展示了 ScaleNet 方法在旋转预测任务上的优越性及其对其他模型的分类任务的改进能力。
