人工敌对样本与友好样本对 BERT 泛化能力的影响
原文中文，约200字，阅读约需1分钟。发表于：。通过实验验证，针对固定大小的训练样本，10-30% 含有人工对抗元素的训练样本可以提高文本分类和关系抽取等任务的准确性和 F1 分数，超出这一范围的增加可能导致性能停滞甚至降低。与此相反，带有人类友好元素的训练样本可能不利于模型的泛化能力，甚至可能降低泛化性能。
该研究探讨了机器学习模型易受攻击的问题，采用对抗培训学习鲁棒模型，但发现未被扰动的测试集上存在更高的泛化误差。研究证明更多数据可能会增加鲁棒分类器与标准分类器泛化误差的差距，并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距。此现象也出现在线性回归模型中。
