LM-PUB-QUIZ：关系知识的零样本评估的综合框架
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文探讨了预训练语言模型（如BERT和GPT-3）在关系知识获取和知识库构建中的表现，提出了新的评估方法和数据集，强调了模型在知识保留、更新和获取新知识方面的挑战。研究发现，模型的中间层对知识贡献显著，但在理解单词定义方面存在缺陷。LHMKE基准用于全面评估中文大型语言模型的知识获取能力。
❓
Q&A
BERT模型在关系知识获取方面的表现如何？
未经微调的BERT模型在关系知识获取方面与传统NLP方法竞争，能够根据开放式关系进行查询。
WDLMPro方法是如何评估单词理解的？
WDLMPro方法直接使用单词的字典定义来评估单词理解，发现预训练语言模型在这方面存在缺陷。
中间层在BERT模型中的作用是什么？
中间层对BERT模型的知识贡献显著，容量和事实密度是学习事实的关键。
什么是连续知识学习问题？
连续知识学习问题涉及知识的保留、更新和获取，强调对抗知识遗忘和参数扩展的重要性。
ProP方法在知识库构建中有什么创新？
ProP方法利用GPT-3进行知识库构建，强调手动提示和实体别名字典的有效性。
LHMKE基准的主要特点是什么？
LHMKE基准是一个大规模、全面的知识评估标准，涵盖30个学科的75个任务，包含10,465个问题。
🏷️
