IM-BERT: Enhancing the Robustness of BERT through the Implicit Euler Method

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出IM-BERT,通过将BERT的层视为常微分方程求解的动态系统,解决了大规模模型在有限数据集上易受对抗攻击和过拟合的问题。IM-BERT在低资源场景下显著提高了模型的对抗鲁棒性,实验表明其在AdvGLUE数据集上的性能提升约8.3%。

🏷️

标签

➡️

继续阅读