缩小知识评估差距：多层次答案的开放领域问题回答
内容提要
该文综述开放领域问答研究，提出链接异构知识源证据的框架，在OTT-QA和NQ上显著优于此前最优；Graft-Net结合文本与知识库子图提升效率；TIARA通过多粒度检索与约束解码减少生成错误；实体链接方法提升8%；InstructGPT在NQ-open上创下新最优；MuGER²以多粒度证据检索推理提升混合问答；问题生成用于多跳问答并兼具可解释性；GLOBE数值聚合准确率达87%；CGDe/FGIn多跳模型超越基线；BeamSearchQA迭代生成子问题，优于零样本基线。
延伸解读
多跳问答的演进脉络
文章梳理了从2018年Graft-Net到2023年MuGER²等多跳问答模型的演进，显示研究重心从结合文本与知识库子图，逐步转向多粒度证据检索与推理。这一脉络表明，单一知识源或单步检索难以应对复杂问题，异构证据的链接与组织成为提升性能的关键方向。
评估指标可能低估真实性能
文章提到，使用InstructGPT在NQ-open上取得新最优结果，但人工评估发现所有模型的真实性能均被显著低估，超过50%的词汇匹配失败实际归因于意义相当的答案。这提示读者，仅依赖精确匹配等自动指标可能无法全面反映模型能力，需结合人工判断理解实际进展。
可解释性与推理过程的结合
基于问题生成的多跳问答方法通过生成内在逻辑子问题，继承了问题分解方法的可解释性，并在流畅性、一致性和多样性上优于分解方法。BeamSearchQA也采用迭代生成子问题的思路。这表明，将推理过程显式化为子问题，既能提升性能，也能为答案提供可追溯的解释路径。
专用任务与通用框架的差异
GLOBE针对家谱树数值聚合任务，准确率达87%，远超此前最优的21%，显示专用方法在结构化数值推理上的潜力。而其他工作如TIARA、MuGER²等则面向开放域或混合问答的通用框架。读者需注意，不同任务的评估基准和难度差异较大，跨任务比较性能需谨慎。
Q&A
开放领域问答中如何利用异构知识源提升回答性能？
提出一种新颖的开放领域问答框架，使用中介模块对异构知识源上的单跳/多跳问题进行回答。在预训练语言模型的基础上，通过将检索到的证据与其相关的全局上下文链接到图中，并将它们组织成候选证据链，实现了竞争性的性能。在OTT-QA和NQ数据集上显著优于之前最先进的方法，在OTT-QA上精确匹配分数达到47.3（相对增益45%）。
Graft-Net模型是如何结合文本和知识库进行问答的？
Graft-Net是一种应用于开放领域问答的新模型，它结合了文本和知识库，并利用子图表示法以提高效率和准确度。
TIARA模型如何减少知识库问答中的生成错误？
TIARA通过多粒度检索帮助预训练语言模型集中于最相关的知识库上下文，并应用约束解码来控制输出空间并减少生成错误。在GrailQA和WebQuestionsSP等基准测试中，相比使用预训练语言模型或网络实体注释的先前SOTA，F1值分别提高了至少4.1和1.1个百分点。
实体链接在知识库问答中有什么作用？
研究实体链接及其在知识库问答中的应用，提出了一种使用不同粒度的上下文信息进行实体提及检测和消岐的神经网络架构，并使用Wikidata知识库建立了实体链接的问答数据基准。该方法在此数据上优于先前的最先进系统，平均得分提高了8%，并且在不同实体类别上表现良好。
InstructGPT在开放领域问答上的表现如何？
通过人工评估，发现使用InstructGPT在NQ-open取得了新的最优结果，且所有模型的真实性能均被显著低估，同时超过50%的词汇匹配失败归因于意义相当的答案，正则匹配排名与人类判断一致。
MuGER²方法如何提升混合问题回答的性能？
MuGER²是一种多粒度证据检索和推理方法，通过设计统一的检索器来学习异构数据的多粒度证据，在回答推理中提出了一个证据选择器，基于学习到的多粒度证据导航细粒度证据，显著提高了混合问题回答（HQA）的绩效。
基于问题生成的多跳问答方法有什么优势？
提出了一种基于问题生成的新型多跳问答方法，通过精心设计端到端的QG模块，在上下文理解中提出内在逻辑子问题，从而继承了QD方法的可解释性并表现出较高的性能。实验证明，QG模块在流畅性、一致性和多样性方面优于QD方法，并获得了人工评估的定量可解释性。
GLOBE方法在数值聚合问答任务上的准确率是多少？
GLOBE是一种新的端到端数值聚合QA方法，用于解决对家谱树进行数值聚合问题。结果表明，GLOBE在这一任务上的准确率达到了87%，远超过当前最先进模型的21%。这项研究对家谱信息中心和博物馆具有实际意义。
CGDe和FGIn在多跳问答中的表现如何？
提出了一种新的多跳问题回答模型架构，通过应用CGDe和FGIn两种策略，在SQuAD和HotpotQA数据集上表现出超越state-of-the-art基线的性能。
BeamSearchQA如何利用大型语言模型改进开放领域问答？
BeamSearchQA是一种新型问题回答管道，通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA明显优于其他零-shot基线，在处理开放性领域问题回答方面具有很强的有效性。
