ALCUNA：大型语言模型迎接新知识

文章介绍了一个基于知识的全面评估框架KGQuiz，用于评估大型语言模型在不同领域和任务中的知识泛化能力。通过在KGQuiz基准测试中对十种开源和黑盒LLMs进行实验，发现LLMs在简单的知识问答任务中表现出色，但在需要更复杂推理或领域特定事实的设置和上下文中仍存在挑战。KGQuiz被视为一个测试平台，用于分析不同领域和任务格式下性能的微妙变化，并最终理解、评估和改进LLMs在广泛知识领域和任务中的知识能力。