从内部冲突到语言模型的情境适应
原文中文,约600字,阅读约需2分钟。发表于: 。知识密集型语言理解任务需要语言模型(LM)整合相关上下文信息,以缓解其固有的弱点,例如不完整或过时的知识。然而,研究表明,随着与预训练期间学习到的 LM 内存存在冲突,LM 常常忽略提供的上下文。此外,冲突的知识已经存在于 LM 的参数中,称为内部内存冲突。现有研究只独立地研究了这两种类型的知识冲突。我们推测(程度)内部内存冲突反过来可以影响 LM 处理上下文 -...
研究了语言模型在处理知识密集型任务时的困难和内部内存冲突对上下文的影响。引入了DYNAMICQA数据集,评估了内部内存冲突的不确定性,并提出了一种新的一致性说服评分来评估上下文对语义输出的影响。实验结果显示,时间性和有争议事实更容易通过额外的上下文进行更新。