IdentifyMe:一项具有挑战性的长文本提及解析基准

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出新基准IdentifyMe,评估大规模语言模型在共指解析中的表现,发现开放模型与封闭模型之间存在显著差距,尤其在人称代词解析方面表现较差。

🎯

关键要点

  • 本研究提出新基准IdentifyMe,用于评估大规模语言模型在共指解析中的表现。
  • IdentifyMe基准采用多项选择题形式,并包含长篇叙述。
  • 研究发现开放模型与封闭模型之间存在显著的绩效差距。
  • 尤其在人称代词解析方面,开放模型表现较差。
➡️

继续阅读