SPINACH: 面向复杂现实问题的 SPARQL 基础信息导航
内容提要
本文介绍了多个基于知识库的问答系统的进展，包括Spider4SPARQL数据集、Interactive-KBQA框架、SPAGHETTI混合问答流水线、FlexKBQA少样本问答方法，以及基于ChatGPT的CQL生成框架。这些方法在不同数据集上表现出色，推动了多语言知识图谱问答的发展。
延伸解读
SPARQL 基准测试的进展与挑战
Spider4SPARQL 提供了大规模、复杂的 SPARQL 查询和多样化的知识图谱，旨在评估现代 KGQA 系统的能力。与早期基准相比，它更注重查询的复杂性和知识图谱的多样性，有助于揭示系统在真实场景中的不足。然而，构建此类基准需要大量人工标注，成本较高，且可能无法完全覆盖所有现实问题类型。
低资源与少样本场景下的 KBQA 方法
Interactive-KBQA 和 FlexKBQA 分别通过直接交互和自动化程序生成来应对低资源挑战。Interactive-KBQA 利用通用 API 与知识库交互，在极少示例下表现优异；FlexKBQA 则借助大语言模型生成合成数据，并通过自训练缩小分布差距，在少样本甚至零样本下接近监督模型性能。这些方法降低了标注需求，但合成数据的质量与多样性仍是潜在瓶颈。
混合问答与评估指标的反思
SPAGHETTI 整合知识库、文本、表格和信息框等异构知识源，在 Compmix 数据集上达到 56.5% 的精确匹配率，但人工分析显示其准确率超过 90%，表明精确匹配可能低估了系统能力。这提示研究社区需要更细致的评估指标，以反映模型在复杂现实问题上的真实表现，而非仅依赖字符串匹配。
多语言与多知识库的泛化能力
多语言语义 Web 知识库问答方法能够查询多个知识库，并轻松移植到其他语言，在五种语言和五个知识库上得到验证。QALD-9-Plus 通过添加八种语言和从 DBpedia 到 Wikidata 的迁移，扩展了基准的可用性。这些工作推动了 KGQA 的跨语言和跨知识库泛化，但不同语言和知识库之间的 schema 差异仍是实际部署中的主要障碍。
Q&A
Spider4SPARQL 数据集的主要内容是什么？
Spider4SPARQL 数据集包含 9693 个自然语言问题和 4721 个 SPARQL 查询，用于评估知识图谱问答系统。
Interactive-KBQA 框架的优势是什么？
Interactive-KBQA 框架通过与知识库直接交互，在低资源场景下展示了优秀的表现。
SPAGHETTI 混合问答流水线的性能如何？
SPAGHETTI 在 Compmix 数据集上取得了 56.5% 的精确匹配率，且准确率超过 90%。
FlexKBQA 方法如何解决少样本问答问题？
FlexKBQA 通过自动化算法和自训练策略，在少样本场景下实现接近监督模型的性能。
基于 ChatGPT 的 CQL 生成框架在竞赛中的表现如何？
该框架在 CCKS 2023 竞赛中获得第二名，F1-score 为 0.92676。
多语言知识库问答方法的特点是什么？
该方法能够查询多个知识库，并易于移植到其他语言，增强了多语言知识图谱问答的能力。
