LM-PUB-QUIZ:关系知识的零样本评估的综合框架
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了语言模型在预训练阶段获得的关系知识评估的有效性不足问题,提出了LM-PUB-QUIZ框架,基于改进的BEAR探测机制,支持独立评估和与Hugging Face TRANSFORMERS库的集成。其最显著的发现是,该框架为不同知识类型提供了细粒度分析,使用户更好地理解各评估语言模型中的知识。
LM-PUB-QUIZ框架解决了语言模型预训练阶段关系知识评估有效性不足的问题,支持独立评估和与Hugging Face TRANSFORMERS库集成,提供细粒度分析,帮助用户理解语言模型中的知识。