本研究提出IM-BERT,通过将BERT的层视为常微分方程求解的动态系统,解决了大规模模型在有限数据集上易受对抗攻击和过拟合的问题。IM-BERT在低资源场景下显著提高了模型的对抗鲁棒性,实验表明其在AdvGLUE数据集上的性能提升约8.3%。
本研究分析了数据集制图在SQuAD数据集上对抽取式问答的影响,结果显示其对模型的泛化能力和对抗鲁棒性几乎没有提升。
本研究探讨神经网络在JPEG AI图像压缩中的对抗鲁棒性,提出了一种新方法来测量压缩后的对抗攻击鲁棒性,并首次进行大规模评估,结果对相关领域具有重要影响。
本研究提出了BEARD基准,系统评估数据集蒸馏方法在高压缩比下的对抗鲁棒性。实验结果表明,BEARD为对抗鲁棒性研究提供了标准化的评估机制。
该研究提出了一种新的文本图像相互感知方法,旨在提升CLIP模型的零-shot对抗鲁棒性和泛化能力。通过引入最小超球能量和文本感知图像调整机制,实验结果表明该方法在抵御对抗扰动的同时,保持了模型的零-shot泛化能力。
本研究提出使用权重曲率指数(WCI)来分析对抗鲁棒性泛化问题。WCI量化模型对抗扰动的脆弱性,帮助设计更坚固的深度学习模型,提高模型的可靠性和安全性。
研究评估了LiDAR与相机融合模型在3D物体检测中的对抗鲁棒性。通过在车辆上添加对抗点,可能导致模型无法检测到车辆。实验表明,即使图像数据不变,操控LiDAR数据仍能欺骗模型。这引发了对自动驾驶安全的担忧,并探讨了对抗点的数量、距离和角度对攻击成功率的影响。研究旨在增强对多传感器鲁棒性的理解,提高自动驾驶的安全性。
通过与人类脑电图信号共同训练人工神经网络,发现网络的EEG预测准确性与对抗鲁棒性存在显著相关性,表明未来使用EEG的潜力。
数据集蒸馏是一种高级技术,将数据集压缩为较小的对应物,同时保持强大的训练性能。本研究引入了一个全面的基准,评估最广泛的蒸馏数据集的对抗鲁棒性。通过结合更广泛的数据集蒸馏方法和对抗攻击方法,基准显著扩展。同时发现将蒸馏数据融入原始数据集的训练批次可以提高鲁棒性。
通过比较三种不同复杂度和效率水平的突变器基准模型,研究了语言模型的效率、性能和对抗鲁棒性之间的权衡关系。结果表明,GLA Transformer 和 MatMul-Free LM 在 AdvGLUE 任务上展示了更高的效率和更强的鲁棒性。简化架构在实现效率、性能和对抗鲁棒性方面具有潜力。
该研究提出了一个名为OODRobustBench的基准来评估对抗鲁棒性在输入分布转移下的泛化能力。研究结果显示,对抗鲁棒性在OOD泛化问题上存在严重问题,但ID鲁棒性与OOD鲁棒性呈正线性相关,可以通过ID鲁棒性预测OOD鲁棒性。研究还发现,额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高OOD鲁棒性。该研究为多攻击和未知攻击的鲁棒性提供了新的解决方案。
本文介绍了一种名为“双梯度投影”的方法,用于解决机器学习系统在学习新任务时容易忘记先前的对抗鲁棒性的问题。该方法通过将权重更新的梯度正交投影到两个关键子空间上,实现连续鲁棒学习。实验结果表明,该方法有效地保持了连续鲁棒性,并对抗强对抗攻击的效果优于其他方法。
本文对深度学习领域的对抗攻击和防御进行了分类,并提出了提高对抗鲁棒性的方法。文章探讨了网络强健性的潜在因素,并提供了解决方案。同时解决了对抗防御成本和鲁棒性与准确性之间的权衡问题。文章还提出了推动深度学习研究发展的几个挑战。
通过修改预训练模型的损失函数,限制前K个softmax输出,提高了微调后预训练模型的对抗鲁棒性,抵御常见攻击。后续研究应探索损失函数的输出多样性、泛化性和鲁棒性与性能之间的权衡关系。
本研究评估了LiDAR-相机融合模型在3D物体检测中的对抗鲁棒性,发现通过操纵LiDAR数据通道可以欺骗融合模型,引发了自动驾驶领域的安全担忧。研究还探讨了攻击成功率与对抗点数量、距离和角度之间的关系,有助于增进对多传感器鲁棒性的理解,提供自动驾驶安全性的见解和指导。
本文研究深度学习中记忆化的作用,探讨容量、泛化和对抗鲁棒性之间的联系。作者实验发现,深度神经网络在优化噪声数据和真实数据时存在数量上的差异,但通过适当的正则化调整(如dropout),可以降低在噪声数据集上的训练性能,同时不影响在真实数据上的泛化能力。研究结果表明,数据集本身在决定记忆化程度时起重要作用,而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。
本文研究了基于Lipschitz界限的量子机器学习中的对抗鲁棒性和泛化性质,导出了适用于具有可训练编码的量子模型的定制参数相关的Lipschitz界限,并展示了数据编码的范数对于抵抗输入数据扰动的鲁棒性具有关键影响。通过数值结果的验证,我们展示了Lipschitz界限的规范化显著提高了量子模型的鲁棒性和泛化能力。
该文介绍了一种新的方法,通过综合应用个体公平性、对抗鲁棒性和因果性,实现了分类器的公平、对抗鲁棒和因果感知。通过引入新的因果对抗扰动和对抗训练,创建了一个将三者相结合的新的正则化项,并在真实世界和合成数据集上进行了评估,证明了其有效性。
该文介绍了一种新的对抗性攻击防御方法——图像重采样,通过使用隐式表示驱动的方法,可以显著提高模型的对抗鲁棒性。
该文提出了一种攻击依赖的度量指标,用于衡量深度神经网络在特定输入上的对抗鲁棒性。该指标有效性和泛化性得到验证,相比以前的指标更高效有效。
完成下面两步后,将自动完成登录并继续当前操作。