利用动态注意力提升基于 Transformer 的大型语言模型的鲁棒性

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究介绍了一种使用拓扑数据分析的文本分类器,该模型在区分垃圾邮件和普通邮件等任务上表现出优于BERT基线的性能,并减少了BERT注意力头的数量。拓扑模型在对抗性攻击方面表现出更高的鲁棒性,是NLP领域中首次使用基于拓扑的模型来应对对抗性攻击。

🏷️

标签

➡️

继续阅读