人工敌对样本与友好样本对 BERT 泛化能力的影响

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

该研究探讨了机器学习模型易受攻击的问题,采用对抗培训学习鲁棒模型,但发现未被扰动的测试集上存在更高的泛化误差。研究证明更多数据可能会增加鲁棒分类器与标准分类器泛化误差的差距,并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距。此现象也出现在线性回归模型中。

🎯

关键要点

  • 研究探讨机器学习模型易受攻击的问题。

  • 采用对抗培训学习鲁棒模型,但未被扰动的测试集上存在更高的泛化误差。

  • 研究证明更多数据可能增加鲁棒分类器与标准分类器的泛化误差差距。

  • 提出理论结果以判定何时和何种情况下添加更多数据能缩小差距。

  • 此现象也出现在线性回归模型中。

➡️

继续阅读