针对掩蔽图像建模的成员推断攻击
原文中文,约200字,阅读约需1分钟。发表于: 。本研究关注于掩蔽图像建模(MIM)在视觉识别中的数据隐私问题,提出了首个针对MIM预训练图像编码器的成员推断攻击方法。通过模拟MIM的预训练过程并获取重建误差,研究显示该攻击能够有效识别图像是否属于预训练数据集,相较于基线方法取得了更优异的结果,揭示了MIM在隐私保护方面的潜在风险。
本文提出了一种基于蒙版图像建模的框架A^2MIM,可用于Transformers和CNNs网络。该方法通过研究补丁之间的相互作用,发现蒙版图像建模能够提升模型处理中阶交互和提取通用特征的能力。实验证明该方法能够在不需要显式设计的情况下学习到更好的表示,并赋予骨干模型更强的能力,以适应不同的下游任务。