人工敌对样本与友好样本对 BERT 泛化能力的影响

该研究探讨了机器学习模型易受攻击的问题，采用对抗培训学习鲁棒模型，但发现未被扰动的测试集上存在更高的泛化误差。研究证明更多数据可能会增加鲁棒分类器与标准分类器泛化误差的差距，并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距。此现象也出现在线性回归模型中。