StructLM: 构建用于结构化知识建模的通用模型
内容提要
本文综述大语言模型与结构化知识的融合研究，涵盖知识注入、UnifiedSKG统一框架、PKG参数引导、KG-GPT推理框架及知识图谱与LLM协同增强等方案，并探索结构化SQL生成、联合实体关系抽取与自动本体构建，证明融合可提升问答、推理与知识图谱构建性能。
延伸解读
结构化知识注入LLM的早期探索
文章提到2022年5月的研究探讨了结构化数据（如知识图谱）与文本对大语言模型内部化知识的差异，并提出将结构化知识注入LLM的方法。通过在不同知识图谱数据上预训练，并在多个自然语言任务上比较性能，证明了该方法的有效性。这为后续统一框架和参数引导等研究奠定了基础，表明结构化知识能弥补纯文本预训练的不足。
UnifiedSKG：统一21项任务的文本到文本框架
2022年1月提出的UnifiedSKG框架将21个结构化知识封装任务统一为文本-文本格式，便于系统研究。基于T5的基准测试显示，该框架在几乎所有任务上达到最先进水平，且多任务前缀调整能进一步提升多数任务性能。研究还发现T0、GPT-3和Codex在零样本和少样本学习上表现困难，揭示了当时LLM在结构化任务上的局限性。
PKG与KG-GPT：提升推理与隐私保护
2023年5月的PKG框架让LLM在运行时访问相关知识，以提升长尾或特定领域任务的表现，同时兼顾透明度和数据隐私。2023年10月的KG-GPT则将知识图谱推理分为句子分割、检索相关图谱组件和推导逻辑结论三步，在事实验证和KGQA基准上表现竞争力强，甚至超越部分全监督模型，展示了LLM处理结构化与非结构化数据的统一潜力。
知识图谱与LLM协同及SQL生成优化
2023年6月的研究提出三种知识图谱与LLM协作框架：增强的知识图谱、增强的LLM和协同增强，实现双向推理。2024年2月的SGU-SQL模型利用用户查询和数据库结构信息改进结构化SQL生成，实验证明优于16种方法。这些工作表明，结构化知识与LLM的融合不仅能提升问答和推理，还能优化具体生成任务，如SQL和知识图谱构建。
Q&A
UnifiedSKG框架是什么？它有什么作用？
UnifiedSKG是一个统一的结构化知识封装框架，它将21个结构化知识封装任务统一成一种文本-文本格式，以促进系统结构化知识封装研究。利用该框架对T5进行基准测试，证明其在几乎所有21个任务中都达到了最先进的性能水平，并展示了多任务前缀调整如何提高大多数任务的性能。
PKG框架如何让大语言模型访问外部知识？
PKG（Parametric Knowledge Guiding）框架使LLMs具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。
KG-GPT框架包含哪些步骤？它在知识图谱任务中表现如何？
KG-GPT是一个利用LLMs进行知识图谱相关任务复杂推理的框架，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。通过基于KG的事实验证和KGQA基准评估，该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。
知识图谱和大型语言模型有哪些协同增强的框架？
有三种框架：增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现。
SGU-SQL模型如何改进结构化SQL生成？
SGU-SQL（结构引导的SQL）生成模型利用用户查询和数据库的结构信息来改进结构化SQL的生成问题，并通过实验验证其优于16种SQL生成方法。
大型语言模型在联合实体关系抽取和自动本体构建方面有什么应用？
本文分析了当前基础LLM（ChatGPT）与专门的预训练模型（REBEL）的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的LLM模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础LLM模型自动创建本体论的潜力，取得更相关和准确的知识图谱。
