TabularBench：现实应用中表格深度学习的对抗鲁棒性基准测试
内容提要
本研究建立了对抗性鲁棒性评估标准，分析了鲁棒模型在图片分类和表格数据中的表现。实验表明，数据更改强度过大无法反映真实情况，且高分辨率下基于梯度的攻击泛化能力差。提出的新攻击方法CAPGD和CAA强调了多样化攻击的重要性，以提高模型鲁棒性。此外，研究探讨了数据集蒸馏对鲁棒性的影响，发现结合蒸馏数据可增强模型的抗攻击能力。
延伸解读
表格数据对抗鲁棒性评估的挑战
文章指出，针对表格数据的对抗攻击面临诸多挑战，包括需要标准化的评估指标和引入稀疏性度量来控制特征扰动的数量。此外，数据更改强度过大无法反映真实情况，而基于梯度的攻击在高分辨率数据上泛化能力差。这些因素使得表格深度学习模型的鲁棒性评估比图像领域更复杂，需要专门的方法和基准。
新攻击方法CAPGD与CAA的意义
研究提出的CAPGD和CAA两种新攻击方法，在表格机器学习中表现出有效性和高效性。作者认为它们应成为任何新的防御或鲁棒性架构的最低测试标准。这强调了多样化攻击的重要性：不同模型对不同攻击方式的敏感性不同，只有通过多种强攻击测试，才能全面评估模型的鲁棒性，避免单一攻击带来的评估偏差。
数据集蒸馏对鲁棒性的增强作用
文章引入数据集蒸馏技术，将数据集压缩为较小对应物同时保持训练性能，并评估蒸馏数据集的对抗鲁棒性。研究发现，将蒸馏数据融入原始数据集的训练批次可以提高模型的鲁棒性。这一发现为在资源受限或需要高效训练的场景下提升模型抗攻击能力提供了新思路，但具体效果可能因数据集和攻击方法而异。
鲁棒性评估中的尺寸偏差与攻击多样性
在语义图像分割领域，研究重新评估多个鲁棒模型后发现，大多数先进模型对对抗扰动的敏感性明显大于之前报道的。此外，存在尺寸偏差：即使大型物体是鲁棒的，小型物体往往更容易受到攻击，而当前评估指标未能揭示这一现象。因此，需要使用多样的强攻击来全面评估模型，避免因攻击单一而低估风险。
Q&A
什么是对抗性鲁棒性评估标准？
对抗性鲁棒性评估标准是用于评估机器学习模型在面对对抗攻击时的表现的标准，旨在通过实验掌握攻击与防御方法的效果。
研究中提出了哪些新的攻击方法？
研究中提出了CAPGD和CAA两种新的攻击方法，强调多样化攻击的重要性，以提高模型的鲁棒性。
数据集蒸馏对模型鲁棒性有什么影响？
结合蒸馏数据可以提高模型的抗攻击能力，研究表明蒸馏数据集的使用增强了模型的鲁棒性。
高分辨率下基于梯度的攻击表现如何？
研究发现，基于梯度的攻击在高分辨率下的泛化能力较差，无法有效反映真实情况。
如何提高深度表格模型的鲁棒性？
通过通用鲁棒嵌入技术，可以将对抗性鲁棒性传递给其他分类器，从而提高深度表格模型的鲁棒性。
机器学习模型对敌对输入的敏感性如何？
研究表明，机器学习模型对微小的敌对输入扰动非常敏感，不同模型对不同攻击方式的敏感性也各不相同。
