BERT 如何讲莎士比亚英语？评估上下文语言模型中的历史偏见
内容提要
该文汇总多项BERT研究：HistBERT用于历史语义分析；偏见度量与消除方法跨语言验证，效果受NLP资源影响；Latin BERT提升拉丁语词性标注；性别偏见在英语和德语中表现不同；BiBERT提升机器翻译；莎士比亚英语转换BLEU提升约6点；mBERT与单语BERT对比；LTG-BERT优化小规模掩码语言模型。
延伸解读
历史语义分析需警惕时代错位
HistBERT的研究表明，上下文语言模型在历史语言分析中的效果取决于输入文本的时态特征。这意味着，若用现代英语训练的BERT直接分析莎士比亚时代的文本，其词向量可能无法准确反映当时的语义。因此，在开展历史语义变化研究时，应谨慎选择或调整模型，避免因时代差异导致误判。
偏见消除效果受语言资源制约
多项研究显示，BERT中的种族和性别偏见可通过度量与消除方法缓解，但效果高度依赖语言的NLP资源量。资源丰富的语言（如英语）效果较好，而资源稀缺的语言（如土耳其语、韩语）则受限。此外，偏见检测方法本身也需考虑语言和文化特性，不能简单跨语言套用。
多语言与单语模型各有适用场景
mBERT与单语BERT的对比研究揭示了它们在架构、数据领域和任务上的差异。单语模型通常在特定语言任务上表现更优，而mBERT则便于跨语言迁移。对于资源稀缺语言，mBERT可能提供基础支持，但若追求高性能，仍需依赖单语模型或针对性优化。
领域适配与模型优化提升下游任务
Latin BERT在拉丁语词性标注上取得最佳成果，BiBERT通过利用双语上下文嵌入提升了机器翻译性能，而LTG-BERT则优化了小规模掩码语言模型。这些案例表明，针对特定领域或资源条件对BERT进行适配和结构优化，能有效提升下游任务表现，为低资源场景提供可行路径。
Q&A
HistBERT 是什么？它和原始 BERT 在历史语言分析上有什么不同？
HistBERT 是一种基于 BERT 的预训练语言模型，专门用于历史语料库分析。与原始 BERT 相比，它在单词相似度和语义转化分析上表现不同，其效果取决于输入文本的时态特征，因此应用于历史语义变化研究时需谨慎。
BERT 中的种族偏见如何度量和消除？效果受什么因素影响？
使用“Categorical Bias score”度量种族偏见，并采用多语言模型和单语言模型的上下文词对齐方法进行消除。在英语、德语、西班牙语、韩语、土耳其语和中文等多种语言上验证，结果表明这些方法能有效减轻种族偏见，但效果取决于该语言的 NLP 资源量。
Latin BERT 在拉丁语处理上有哪些应用和成果？
Latin BERT 是针对拉丁语的上下文语言模型，在三个拉丁语通用语义数据集上取得了最佳词性标注成果，并通过查询上下文最近邻实现语义信息化的搜索，应用于自然语言处理和传统学术研究。
BERT 模型在英语和德语中检测性别偏见的效果有何差异？
研究比较了英语和德语中职业名称与性别指示目标词的关联性，发现 BERT 模型非常适合英语，但不适合德语等具有丰富形态和性别标记的语言。这强调了探究和减轻偏见技术的重要性，尤其是在大规模多语言模型中。
BiBERT 如何提升机器翻译性能？
BiBERT 通过将定制且合适的双语预训练语言模型的输出（上下文嵌入）作为神经机器翻译编码器的输入，并采用随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入，从而实现最先进的翻译性能。
将英语转换为莎士比亚英语的自动方法取得了什么效果？
该研究探索使用端到端可训练神经模型和指针来自动将英语文本转换为莎士比亚英语，通过预训练单词嵌入解决数据不足问题，取得了 31+ 的 BLEU 分数，相较于最强基线提高了约 6 个点。
