通过从字典中学习概念角色来提高语言模型的语义理解和一致性
原文约200字/词，阅读约需1分钟。发表于：。基于概念角色理论，我们提出一种实用的方法来从根本上提高预训练语言模型的意义感知能力，通过学习字典中单词和定义之间的精确概念关系，进而结合预训练知识来改善模型的不一致行为并实现知识高效整合。实验结果表明此方法能同时提升多种一致性类型，实现知识的高效整合，并可以轻松应用于其他语言。
该文提出了一个基于概念的解释性方法的框架，并将其扩展到NLP领域。通过从预训练模型的隐藏层激活中提取具有预测高水平特征（概念），优化具有高影响力的特征的存在，并设立了多种评估指标。实验结果表明，该方法在预测影响、可用性和忠实度方面都取得了卓越的结果。
