通过关注矩阵的拓扑分析评估变压器预测的不确定性

本研究介绍了一种使用拓扑数据分析的文本分类器，通过将BERT的关注映射转换为关注图作为输入。该模型在区分垃圾邮件和普通邮件等任务上优于BERT基线，并提出了减少BERT注意力头数量的方法。研究显示，拓扑模型在对抗性攻击方面更鲁棒，是NLP领域中首次使用基于拓扑的模型来应对对抗性攻击。