LEAP: 自然语言处理软件的高效自动化测试方法
原文中文,约200字,阅读约需1分钟。发表于: 。该研究提出了一种自动化测试方法 LEAP,基于 Levy 飞行和粒子群优化,结合文本特征生成对抗性测试用例,实验证明 LEAP 在生成对抗性测试用例的平均成功率为 79.1%,比其他方法高出 6.1%,并显著减少了时间开销。此外,实验结果表明 LEAP 可以生成更具传递性的测试用例,并显著提高基于 DNN 的系统的鲁棒性。
本文通过强化学习生成对抗性样本,研究了神经机器翻译系统的失败情况,对RNN-search和Transformer进行了敌对攻击实验,结果表明该方法能够有效生成稳定的攻击和有保留含义的对抗性样本,并展示了攻击偏好模式的定性和定量分析,证明了该方法能够暴露神经翻译系统的缺陷。