BERT 如何讲莎士比亚英语?评估上下文语言模型中的历史偏见

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

研究者使用BERT的历史偏见分析方法测试了其对早期现代英语和现代英语的适应性。他们使用了60个掩模句子和三种不同的模型进行实验,并根据五分制量表对模型预测进行评分。结果显示每个模型对早期现代英语和现代英语的适应性得分。

🎯

关键要点

  • 研究者使用BERT的历史偏见分析方法测试其对早期现代英语和现代英语的适应性。
  • 实验使用了60个掩模句子,包括20个早期现代英语特定、20个现代英语特定和20个通用语句子。
  • 实验中使用了三种不同的模型:BERT Base、MacBERTh和English HLM。
  • 模型预测根据五分制量表进行评分,以评估其对两种语言变体的适应性。
  • 结果显示每个模型对早期现代英语和现代英语的适应性得分。
➡️

继续阅读