FactGenius：结合零 - shot 提示和模糊关系挖掘提高知识图谱事实验证
内容提要
本文介绍了一种新的零射击方法，通过将声称和证据转化为语义三元组，利用大型语言模型进行自然语言推理，提升了多个数据集上的表现。同时，提出了新的数据集FactKG和多种生成方法，以提高事实验证的可靠性和有效性。研究表明，基于生成式语言模型的知识图谱构建方法在事实核查中表现优异。
延伸解读
零样本事实验证的泛化优势
FactGenius 将声称和证据转化为语义三元组，利用大语言模型进行自然语言推理，无需特定训练数据即可在敌对和异域数据集上泛化。在 FEVER、FEVER-Symmetric、FEVER 2.0 和 Climate-FEVER 上，该方法优于先前零样本方法，甚至与监督模型相当。这为缺乏标注数据的领域提供了可行方案，但实际部署时仍需考虑模型推理成本与延迟。
FactKG 数据集与推理类型
FactKG 包含 108k 个自然语言声明及其相关推理类型，旨在通过推理知识图谱进行事实验证。基于这些推理类型的基线方法，有助于提高知识图谱的可靠性和实用性。该数据集为研究者提供了标准化的评估基准，但需注意其覆盖范围可能有限，跨领域迁移时需进一步验证。
科学声称生成与零样本事实检查
科学声称生成任务旨在从科学句子中生成一个或多个原子可验证主张。CLAIMGEN-BART、KBIN 和 CLAIMGEN-ENTITY 三种方法在生物医学声称的零样本事实检查中表现良好。这表明生成式方法能有效分解复杂科学声明，但生成质量直接影响后续验证准确性，需关注生成内容的忠实度。
知识图谱到文本生成的现状与局限
使用大语言模型进行知识图谱到文本的零样本生成，表现接近最先进水平，但不同情况下结果有差异。研究发现，语言模型已有的知识与输出文本的质量显著相关。这意味着模型可能依赖内部知识而非完全忠实于输入图谱，在事实性要求高的场景中需谨慎评估。
Q&A
什么是FactKG数据集，它的目的是什么？
FactKG是一个包含108k个自然语言声明及其相关推理类型的新数据集，旨在通过推理知识图谱提高事实验证的可靠性和实用性。
零射击方法在事实验证中有什么优势？
零射击方法通过将声称和证据转化为语义三元组，利用大型语言模型进行推理，在多个数据集上表现优于先前的方法，且在敌对和异域数据集上与监督模型相当。
CLAIMGEN-BART、KBIN和CLAIMGEN-ENTITY这三种方法的作用是什么？
这三种方法用于从科学句子中生成可验证的主张，并在生物医学声称的零射击事实检查中表现良好。
QACG框架如何提高事实验证模型的性能？
QACG框架通过自动生成问题-答案对，训练强健的事实验证模型，使RoBERTa模型的F1得分从50%提高到77%。
通识事实连接任务的目的是什么？
通识事实连接任务旨在改善知识提取的准确性，研究表明学习型事实连接模型在下游任务表现上明显优于启发式方法。
FactKB方法解决了哪些问题？
FactKB方法使用基于预先抽取的实体知识的语言模型，解决了跨领域的实体和关系错误问题，表现出良好的领域通用性和鲁棒性。
