用大型语言模型推理结构化数据中的事实知识
内容提要
本文探讨了如何提升大型语言模型在结构化数据上的零-shot推理能力。研究者提出了StructGPT方法，通过构建专门函数和外部接口，显著提高了模型在多个结构化任务中的表现，揭示了大型语言模型在处理复杂结构化输出方面的不足，并提出了未来改进的方向。
延伸解读
StructGPT如何提升零-shot推理
StructGPT采用迭代阅读-推理方法，通过专门函数收集证据，并利用外部接口线性化生成推理，逐步逼近答案。实验表明，该方法显著提高了ChatGPT在三种结构化数据任务上的表现，达到与完整数据监督调整基线相当的水平。这为大型语言模型处理结构化数据提供了一种有效的零-shot解决方案。
结构化知识落地的挑战与进展
研究人员开发了全面的指导调整数据集，并训练了基于Code-LLaMA架构的模型（7B到34B参数）。这些模型在18个评估数据集中有14个超越任务专用模型，并在7个结构化知识落地任务中取得新最佳成果。然而，模型规模扩大仅带来些微改进，表明结构化知识落地仍是具有挑战性的任务，需要创新设计。
评估框架与模型能力图谱
为了更全面评估模型能力，研究者提出了StructEval框架，在多个认知层次和关键概念上进行评估，降低数据污染和偏见。此外，通过结构感知微调方法改善了模型生成复杂结构化数据的能力，并构建了模型能力图谱，揭示了大型语言模型在处理复杂结构化输出方面的弱点。
事实可靠性评估的新方法
针对大型语言模型在开放式主题事实查询中的内容错误，研究者提出了SAFE方法，利用LLM代理自动化评估长篇事实性。SAFE将长篇回复分解为单个事实，通过多步推理验证准确性，在16k个事实集上达到超人类评级性能，与人类标注者意见一致率达72%，且成本比人类标注者低20倍。
Q&A
StructGPT方法是如何提升大型语言模型的推理能力的？
StructGPT通过构建专门函数和外部接口，采用迭代阅读-推理的方法，显著提高了模型在结构化任务中的表现。
大型语言模型在处理结构化数据时存在哪些不足？
大型语言模型在生成复杂结构化数据方面存在显著不足，尤其是在处理复杂结构化输出时表现不佳。
研究人员如何评估大型语言模型的能力？
研究人员提出了新的结构化评估框架StructEval，以提供更全面和一致的模型能力评估。
StructGPT在实验中表现如何？
大量实验表明，StructGPT能显著提高ChatGPT在结构化任务中的表现，达到与完整数据监督调整基线相当的水平。
如何增强大型语言模型的事实知识？
研究人员开发了全面的指导调整数据集，并训练了一系列基于Code-LLaMA架构的模型，以增强模型的事实知识落地能力。
未来改进大型语言模型的方向是什么？
未来的改进方向包括设计创新的模型架构和方法，以解决结构化知识落地的挑战。
