本文对BERT、GPT-2和T5三种预训练语言模型进行了鲁棒性测试，发现GPT-2表现更好。丢失名词、动词或改变字符是最具影响力的扰动。这项研究揭示了基于Transformer的模型的弱点。