keqing：基于知识的问答是 LLM 的自然思维导师
内容提要
该文综述知识库问答（KBQA）研究，介绍基于ChatGPT的CQL生成框架（CCKS2023竞赛第二，F1 0.92676）、ChatKBQA（微调大模型生成逻辑形式后检索替换实体关系，刷新WebQSP和CWQ最佳）、KD-CoT、IRCoT、ProbTree、KnowledgeNavigator等通过检索与推理交替、概率思维树、知识图迭代推理缓解幻觉的方法，以及少量示例SPARQL生成系统在SciQA达99.0% F1。
延伸解读
生成与检索的次序之争
文章呈现了两种KBQA技术路线：ChatKBQA先让微调后的大模型生成逻辑形式，再检索替换实体关系；而KD-CoT、IRCoT、KnowledgeNavigator等则强调检索与推理交替进行。前者试图降低检索错误对语义解析的干扰，后者更关注在推理过程中动态引入外部知识以缓解幻觉。读者可留意两种路线在效率与可解释性上的不同取舍。
小模型也能受益的交替推理
IRCoT在HotpotQA等多跳数据集上显示，检索与思维链交替进行能同时提升检索和问答性能，即便在T5-Flan-large（0.7B）这类较小模型上也能奏效。这说明知识库问答的改进不一定完全依赖模型规模，推理流程与检索策略的配合同样关键，为资源有限场景提供了可参考的思路。
概率思维树如何抑制错误传播
ProbTree针对大模型在知识缺失或过时情况下产生错误推理步骤的问题，利用外部知识检索增强链式推理，并从叶节点到根节点考虑问题分解与回答置信度，以层次结构进行全局推理来弥补局部错误。文章称其在三个复杂问答数据集上显著优于当时最先进方法，体现了对推理不确定性进行显式建模的价值。
少样本SPARQL系统的边界
学术知识图谱问答系统通过BERT句子编码器检索相似训练问题及其SPARQL查询作为示例，再让大模型生成查询并在Open Research KG端点上执行，在SciQA数据集上达到99.0% F1。这一结果亮眼，但文章也表明其依赖相似示例检索和特定知识图谱端点，读者需注意该指标是在特定基准与封闭图谱环境下取得，不宜直接外推到开放域场景。
Q&A
基于知识库的问答（KBQA）主要解决什么问题？
KBQA旨在根据知识库来回答事实性问题。
ChatKBQA框架是如何提升知识库问答性能的？
ChatKBQA先微调大语言模型生成逻辑形式，再通过无监督检索方法检索并替换实体和关系，从而更直接地改善生成和检索。该框架在WebQSP和CWQ数据集上取得了最新最佳性能。
KD-CoT框架如何缓解大语言模型的幻觉问题？
KD-CoT通过与外部知识交互，验证和修改语言模型的推理过程，从而缓解幻觉和错误传播，尤其适用于知识密集型任务。
IRCoT方法在多步问答中有什么特点？
IRCoT在多步QA过程中交替使用检索和思维链（CoT），并用检索结果改善CoT。在HotpotQA等四个数据集上显著提升了检索和QA性能，即使在小模型T5-Flan-large（0.7B）上也有效。
ProbTree如何利用外部知识进行复杂问答推理？
ProbTree在开放领域利用外部知识检索加强链式推理，通过从叶节点到根节点解决问题，考虑问题分解和回答的置信度，消除负面检索问题，并借助层次结构对非叶节点进行全局推理，从而弥补局部错误。在三个复杂问答数据集上显著优于最先进方法。
KnowledgeNavigator框架如何增强LLM在知识图上的推理能力？
KnowledgeNavigator通过挖掘和增强问题的潜在约束来指导推理，在LLM和问题指导下对知识图进行迭代推理以检索和过滤外部知识，并将结构化知识构建为有效提示帮助LLM推理。在多个公开知识图问答基准上效果和泛化能力优于之前方法，与完全监督模型相媲美。
在学术知识图谱问答中，如何利用少量示例生成SPARQL查询并达到高准确率？
该系统使用基于BERT的句子编码器识别与测试问题相似的前n个训练问题，检索其对应的SPARQL查询作为示例，与测试问题一起构建提示传递给大语言模型生成SPARQL查询，最后在Open Research KG端点上运行查询返回答案。在SciQA数据集上获得99.0%的F1分数。
