用于可信注意力解释的正则化、半监督和监督方法

本研究针对当前注意力机制在自然语言处理中的解释性问题，提出了改进注意力图可信性的三种约束方法：正则化、半监督和人工监督。研究表明，这些技术在一定程度上提高了注意力图的可信性，但特定的人工标注指令可能会对分类性能产生负面影响。同时，实验结果显示上下文层对搜寻可信标记空间至关重要。