大型语言模型的知识边界感知：半开放问题回答
内容提要
本文探讨大型语言模型（LLMs）在知识理解和不确定性评估方面的能力，提出了新的数据集和分类方法。研究表明，检索增强能有效提升LLMs对知识边界的感知，且模型在生成答案时依赖检索结果。通过分析不同知识图谱注入方法，发现LLMs能够有效处理混乱的知识图谱，为未来研究提供了重要见解。
延伸解读
检索增强如何提升知识边界感知
文章指出，检索增强是提升大型语言模型对知识边界感知的有效方法。模型在生成答案时倾向于依赖检索结果，但依赖程度受结果质量影响。这意味着，当检索到的信息准确且相关时，模型能更好地判断自身是否知道答案；反之，低质量检索可能削弱这种感知能力。因此，在实际应用中，优化检索质量对模型可靠性的影响可能比单纯扩大模型规模更直接。
混乱知识图谱反而更有效？
一个反直觉的发现是，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱，并且表现优于使用设计良好的自然语言文本提示。这提示我们，结构化知识即使以非完美形式注入，模型也可能从中提取有用信息。对于实践者而言，不必过度追求知识图谱的完美清洗和自然语言化，直接注入原始或线性化图谱可能更高效。
模型自我评估与工具调用
文章提到一种新模型能自我评估是否可直接回答问题或需请求外部工具，通过幻觉屏蔽机制的监督和参数高效微调，仅在62%的时间内使用API。这表明模型可以学会在内部知识与外部检索之间做出权衡，从而减少不必要的工具调用。对于部署成本敏感的场景，这种自我评估机制有助于平衡准确性和效率。
隐式知识与外部检索的互补
在知识库-视觉问答分析中，预训练语言模型在1跳推理上更强，但在2跳推理上不如微调的神经网络模型。虽然预训练模型在与知识库相关的问题上表现更优，证实了隐式知识的有效性，但它们并不能替代对外部知识的需求。这说明，对于复杂多跳问题，结合显式检索和隐式知识仍是必要策略。
Q&A
大型语言模型如何评估自身的不确定性？
大型语言模型通过量化其在回答已知和未知问题时表达的答案中的不确定性来评估自身的不确定性。
检索增强对大型语言模型的知识边界感知有什么影响？
检索增强被发现是提升大型语言模型对知识边界感知的有效方法，模型在生成答案时依赖检索结果。
大型语言模型在处理混乱知识图谱时表现如何？
大型语言模型能够有效处理混乱、噪音的知识图谱，表现优于使用自然语言文本提示的方法。
研究中提出的知识解决器（KSL）有什么功能？
知识解决器（KSL）通过增强搜索能力，提高了推理过程的可解释性，并利用大型语言模型的概括能力从外部知识库中搜索必要知识。
大型语言模型在与知识库相关的问题上表现如何？
研究表明，预训练语言模型在与知识库相关的问题上表现优于神经网络模型，验证了隐式知识的有效性。
如何提高大型语言模型的自我认知能力？
通过上下文学习和指导调整，可以进一步提高大型语言模型的自我认知能力。
