ConstraintChecker：用于大型语言模型推理常识知识库的插件
内容提要
该文综述常识知识图谱研究进展，涵盖文本方法提升知识图谱补全、约束型提示改善大模型生成质量（在WN18RR和FB15K237上超越先前结果）、神经符号推理器处理动态常识图谱、大规模通识推理数据集与归纳模型、半监督框架PseudoReasoner补全常识库、概率逻辑表示与层次化本体、对话代理零样本推理系统、ConceptNet关系注入UniLM提升文本生成、逻辑推理题训练预训练模型、CLEVER从图像提取常识以及CAR方法提升零样本常识问答表现。
延伸解读
常识知识图谱补全的技术路线
文章综述了多种常识知识图谱补全方法，包括基于文本的方法、半监督框架PseudoReasoner以及神经符号推理器。这些方法分别从不同角度提升补全效果，例如PseudoReasoner在域外测试集上取得最佳表现，神经符号推理器则提供可解释预测。读者可关注这些技术如何互补，以及在实际应用中如何选择。
大语言模型与常识推理的结合
文章提到通过约束型提示改善大语言模型生成质量，并在WN18RR和FB15K237数据集上超越先前结果。此外，ConceptNet关系注入UniLM以及逻辑推理题训练预训练模型等方法，均旨在提升模型的常识推理能力。这些工作表明，结合外部知识库和提示工程是增强大模型常识推理的有效途径。
常识推理的评估与挑战
文章指出，通识推理任务仍具挑战性：模型在训练集上高准确率，但在评估集上表现不佳，与人类表现存在巨大差距。这提示读者，当前常识推理模型的泛化能力有限，未来研究需关注如何缩小这一差距，并开发更鲁棒的评估基准。
多模态与对话中的常识应用
文章介绍了CLEVER从图像中提取常识知识，以及对话代理的零样本通识推理系统，后者成功率提高35%。这些应用展示了常识知识在视觉和对话领域的价值。读者可思考如何将常识推理集成到多模态系统中，以提升交互的自然性和准确性。
Q&A
如何利用约束型提示提升大型语言模型在知识图谱补全任务中的表现？
通过引入约束型提示来改善大型语言模型生成的文本质量，该方法在低资源计算条件下展现了有效的推理能力，并在WN18RR和FB15K237数据集上超越了之前的结果。
神经符号推理器在处理动态常识知识图谱时有什么优势？
神经符号推理器可以处理大规模的动态常识知识图谱，通过学习逻辑规则提供可解释性的预测，并在CKGs的链接预测任务上表现优于现有技术。
PseudoReasoner框架在常识知识库补全中取得了什么效果？
PseudoReasoner是一种基于半监督学习的框架，用于CommonSense Knowledge Base自动补全，在测试集合的out-of-domain性能上取得了最新的最好表现。
如何将常识知识图谱中的关系注入到文本生成模型中？
通过从ConceptNet中提取常识关系，将这些关系注入到Unified Language Model (UniLM)中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现匹配词性和完全概念覆盖的要求。
CLEVER方法如何从图像中提取常识知识？
CLEVER利用视觉感知中蕴含的commonsense知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取commonsense知识。实验结果表明，CLEVER可以提取有质量的commonsense知识。
CAR方法在零样本常识问答任务中相比GPT3.5有什么优势？
CAR通过概念抽象化和知识三元组，大大增加了CommonSense Knowledge Bases的语义覆盖范围，使负样本的选择更有效，从而比GPT3.5等方法在处理零样本常识情境问题时表现更出色。
