通过不确定性估计检测语义分割中的对抗攻击：深入分析
内容提要
本文探讨了机器学习和深度神经网络在语义分割中的对抗性攻击，提出了DAG算法生成对抗样本，并分析了对抗扰动的传递性。研究表明，敌对训练在语义分割中存在挑战，但通过微调可以实现有效防御。此外，提出了基于不确定性的攻击检测方法和新的损失函数，显著提高了模型的鲁棒性。
延伸解读
对抗攻击在语义分割中的特殊性
与图像分类不同，语义分割的对抗攻击需诱导像素级错误分类，同时尽量不影响其他像素。文章指出，许多分类任务的观察结果不能直接迁移到分割任务，因为分割涉及更复杂的结构和多尺度处理。这提醒研究者和开发者，评估分割模型鲁棒性时需专门针对分割任务设计攻击和防御方法，不能简单套用分类领域的结论。
对抗扰动的可传递性与黑盒攻击
文章发现，对抗扰动可在不同训练数据、架构和任务间传递，尤其相同架构网络间传递性更显著。对多个异构扰动求和能提升传递性能，这为黑盒攻击提供了有效途径。这意味着即使攻击者不了解目标模型，也可能通过代理模型生成扰动来实施攻击，增加了实际部署中的安全风险。
基于不确定性的检测与防御思路
文章提出基于不确定性的攻击检测方法，利用熵等指标区分干净和攻击图片，无需修改模型或了解攻击生成过程。同时，基于不确定性加权的损失函数能放大易受干扰像素的分类损失，提升扰动性能。这些方法为防御提供了新视角：通过监控模型不确定性，可能及时发现并缓解攻击，而无需重新训练模型。
敌对训练的挑战与权衡
敌对训练在语义分割中面临挑战，因任务更复杂、计算代价更高。但文章指出，利用强Robust ImageNet分类器的最新进展，可通过微调以有限成本实现有效防御。此外，研究揭示了鲁棒性与准确性之间的权衡，且小型物体往往更易受攻击，而当前评估指标未能揭示这一现象。这提示实际应用中需平衡鲁棒性和性能，并关注小物体的安全性。
Q&A
对抗性攻击如何影响语义分割任务？
对抗性攻击通过不可察觉的扰动诱导深度神经网络对某一类别像素的错误分类，显著影响语义分割任务的准确性。
DAG算法在对抗样本生成中有什么作用？
DAG算法（Dense Adversary Generation）用于生成大量对抗样本，并发现对抗扰动在不同训练数据和架构之间具有传递性。
如何检测语义分割中的对抗攻击？
可以使用基于不确定性的攻击检测方法，通过熵等指标有效区分干净和攻击图片，无需修改模型。
敌对训练在语义分割中面临哪些挑战？
敌对训练在语义分割中受到计算代价高和任务复杂性的挑战，但通过微调可以实现有效防御。
基于不确定性加权的损失函数有什么优势？
该损失函数通过放大易受干扰的像素分类损失，显著提高了模型在对抗攻击下的鲁棒性。
离散线性攻击方法的效果如何？
离散线性攻击方法在Cityscapes任务中表现出色，仅通过50个查询就将PSPNet的mIoU从77.83%降至2.14%。
