历史链条:通过 LLMs 进行时态知识图完善的学习和预测

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

该文综述时间知识图谱补全与生成性预测的研究进展,涵盖背景、数据集、评估指标及方法分类(内插与外推),并介绍GenTKG(结合时间逻辑规则检索与参数高效引导)、基于大语言模型与上下文学习的TKG预测、多图结构学习推理、兼顾因果与时序的逻辑常识嵌入模型LCGE、基于预训练语言模型的PPT与TEMT、结构感知推理框架以及具完全表达力的盒式嵌入模型BoxTE等工作。

🔎

延伸解读

内插与外推:时间知识图谱补全的两类任务

文章将时间知识图谱补全方法分为内插和外推两类。内插利用已有时间信息估计缺失元素,外推则关注连续时间图谱并预测未来事件。这一分类有助于读者理解不同方法的设计目标:内插侧重还原历史缺失事实,外推侧重前瞻性预测。文章进一步按处理时间信息的方式对内插方法分类,并按算法对外推方法分类,为后续方法比较提供了清晰框架。

大语言模型在时间知识图谱预测中的潜力与边界

文章介绍了多项利用大语言模型进行时间知识图谱预测的工作。例如,有研究证明LLM结合上下文学习可在不显式捕获结构和时态信息的情况下,达到与专门训练的TKG模型相当的性能,且使用数值索引而非实体名称也能接近相同效果。GenTKG则结合时间逻辑规则检索与参数高效引导,开辟了生成性预测新方向。这些结果表明LLM在该领域有潜力,但文章未说明其普遍适用条件或性能上限。

结构信息与逻辑常识的融合趋势

文章提到多种方法尝试将结构信息或逻辑常识融入时间知识图谱推理。结构感知推理框架将KG结构信息嵌入LLM以提升知识推理能力;LCGE模型兼顾事件因果关系和时序性,通过规则引导建立谓词嵌入标准化策略,提高预测准确率并具有可解释性;多图结构学习推理则捕捉并发结构和演化交互。这些工作反映出研究者正从不同角度弥补纯语言模型在结构和逻辑约束上的不足。

预训练语言模型与嵌入模型的互补路径

除LLM外,文章还介绍了基于预训练语言模型的PPT和TEMT,以及盒式嵌入模型BoxTE。PPT将时间戳间隔转换为提示,把补全任务转为掩码标记预测;TEMT分别处理文本和时间信息并融合,能对未见实体进行预测;BoxTE在时间设置下表现出完全表达能力和归纳能力。这些方法展示了不同于生成式LLM的技术路线,读者可关注其在表达能力和泛化性上的不同侧重。

❓

Q&A

时间知识图谱补全主要研究什么?为什么重要?

时间知识图谱补全旨在基于已有信息预测图谱中的缺失项。由于新知识不断涌现、从非结构化数据提取结构化信息的算法薄弱以及源数据信息缺乏,时间知识图谱往往不完整,因此该任务在学术界和工业界都受到越来越多的关注。

时间知识图谱补全方法中的内插和外推有什么区别?

内插是通过相关可用信息估计和预测缺失元素或元素集合,并根据处理时间信息的方式进一步分类;外推主要关注连续时间知识图谱,预测未来事件,并根据所用算法对所有外推方法进行分类。

GenTKG框架有什么特点?

GenTKG是一个新颖的检索增强生成框架,结合了时间逻辑规则检索策略和轻量级参数效率指导,用于在时间知识图上进行生成性预测,证实了大语言模型在时间知识图领域的巨大潜力,并开辟了时间知识图生成性预测的新领域。

大语言模型在时间知识图谱预测中表现如何?

研究表明,利用大语言模型和上下文学习技术进行TKG预测,无需显式捕获结构和时态信息,LLM就能与针对TKG预测深度设计和训练的最先进模型表现相当;使用数值索引而非实体/关系名称也能达到接近相同的性能;上下文学习还能帮助LLM学习历史上不规律的模式,从而超越基于共同或最新信息的简单预测。

LCGE模型如何提升事件预测的准确率和可解释性?

LCGE是一种同时兼顾事件因果关系和时序性的逻辑和常识指导嵌入模型,可充分考虑事件间的同时性和时序性,并在常识知识基础上通过规则引导建立谓词嵌入标准化策略,从而提高了事件预测的准确率,并且具有可解释性。

PPT和TEMT这两个基于预训练语言模型的TKGC模型分别是怎么工作的?

PPT通过将时间戳之间的间隔转换为不同的提示来提取暗示的语义信息以形成连贯的句子,并使用蒙版策略将TKGC任务转换为蒙版标记预测任务,有效地将时间知识图中的信息整合到语言模型中。TEMT利用预训练语言模型参数中存储的知识产生丰富的事实语义表示,对未见实体进行推广,将KG中的文本和时间信息分别处理并融合以得到事实的可信度得分,能有效捕获不同时间点之间的依赖关系。

BoxTE模型在时间知识图谱补全中有什么优势?

BoxTE是基于盒式嵌入模型BoxE并扩展到时间知识图谱的模型,在时间设置下表现出完全的表达能力和强大的归纳能力,并在多个TKGC基准测试中取得了最先进的结果。

🏷️

标签

➡️

继续阅读