利用大型语言模型通过历史链推理提升时间知识图预测
内容提要
本文综述大语言模型在时间知识图预测中的应用。GenTKG结合时间逻辑规则检索与轻量微调，将时间链接预测视为事件生成任务，通过历史数据增强和逆向知识提升推理能力。TempGraph-LLM将上下文转为时间图，引导符号推理。研究表明，上下文学习可使LLM媲美最先进TKG模型，数值索引效果相近。CluSTeR、TiPNN、LogCL及强化学习、零样本关系建模等方法也取得显著进展。
延伸解读
LLM在时间知识图预测中的潜力与局限
文章指出，利用上下文学习，LLM在时间知识图预测上可与最先进的TKG模型表现相当，甚至无需显式捕获结构和时态信息。这显示了LLM的通用性，但同时也暗示传统TKG模型在结构建模上的优势可能被高估。然而，LLM的推理过程仍依赖上下文质量，且数值索引与实体名称效果相近，说明LLM对语义信息的利用可能有限。
GenTKG与TempGraph-LLM的方法对比
GenTKG结合时间逻辑规则检索和轻量微调，将预测视为事件生成任务，并引入历史数据增强和逆向知识。TempGraph-LLM则将上下文转为时间图，引导符号推理，强调符号推理带来更一致可靠的结果。两者都试图融合符号与神经方法，但GenTKG侧重检索增强生成，TempGraph-LLM侧重图结构引导，反映了不同技术路径。
传统TKG推理方法的演进与互补
文章回顾了CluSTeR、TiPNN、LogCL及强化学习等方法。CluSTeR用强化学习与图卷积网络分两阶段预测；TiPNN用统一图结构捕捉历史信息；LogCL通过对比学习增强鲁棒性；强化学习方法处理未来时间信息和归纳推理。这些方法在特定数据集上取得进展，但与LLM结合可能进一步提升泛化能力。
Q&A
GenTKG是什么？它如何提升时间知识图预测？
GenTKG是一个检索增强生成框架，结合时间逻辑规则检索策略和轻量级参数效率指导，用于时间知识图上的生成性预测。它将时间链接预测视为历史事件链中的事件生成任务，通过微调LLMs适应图文本信息和时间线模式，并引入基于结构的历史数据增强和逆向知识整合，强调LLMs对结构信息的认知，从而提高推理能力。
TempGraph-LLM如何利用大型语言模型进行时间推理？
TempGraph-LLM是一种基于文本的时间推理模型，通过将上下文翻译成时间图，教导LLMs学习时间概念。它利用在其他任务上的预训练效益，并通过思路链引导和特殊数据增强引导LLMs进行符号推理，从而获得更一致可靠的结果。
上下文学习在时间知识图预测中表现如何？
研究表明，上下文学习可使LLM与针对TKG预测深度设计和训练的最先进TKG模型表现相当，无需显式捕获结构和时态信息。此外，使用数值索引而非实体/关系名称可实现接近相同的性能，且上下文学习能帮助LLMs学习历史上不规律的模式，从而超越基于共同或最新信息的简单预测。
CluSTeR模型如何预测未来事件？
CluSTeR使用增强学习与图卷积网络，以两个阶段的方式实现预测未来事件的功能，并在四个数据集上成功验证了其高效性和可解释性。
TiPNN模型在时间知识图推理中有什么特点？
TiPNN模型以历史时间图为基础，采用统一的图结构全面捕捉和封装历史信息，并利用查询感知的时间路径模拟与查询相关的历史路径信息，从而实现对时间知识图的推理，并在归纳设置下取得显著性能提升。
LogCL模型如何提高时间知识图推理的鲁棒性？
LogCL是一种基于本地与全局历史信息的对比学习模型，通过实体感知注意机制捕捉与查询相关的关键历史信息，并设计了四种历史查询对比模式，从而提高了模型的鲁棒性和预测性能。实验结果表明，LogCL相较于现有基准模型取得了更好且更鲁棒的性能。
强化学习方法在时间知识图推理中解决了哪些问题？
基于强化学习的方法解决了建模未来时间信息以及处理先前未见实体的归纳推理问题。它通过在历史知识图上搜索答案，设计了相对时间编码函数以及基于Dirichlet分布的时间-shaped奖励机制，并提出了一种新颖的表示方法来提高模型的归纳推理能力，在四个基准数据集上获得了较大的性能改进。
零样本关系建模如何利用大型语言模型？
通过将知识图谱关系的文本描述输入到大型语言模型中，提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。
