Knesset-DictaBERT：一种用于议会记录的希伯来语言模型
内容提要
本文介绍了DictaBERT和DictaLM等现代希伯来语的预训练语言模型，展示了它们在文本分析任务中的优越性能。同时发布了以色列议会辩论记录的语料库，包含3000万句子，支持政治讨论风格研究。这些模型和数据集为希伯来语自然语言处理提供了重要支持。
延伸解读
希伯来语NLP的模型演进
文章梳理了希伯来语预训练模型的发展脉络：从AlephBERT到DictaBERT，再到DictaLM系列。DictaBERT在多数基准测试上超越现有模型，并提供了前缀分词和形态标记的微调版本，方便开发者直接调用。DictaLM拥有70亿参数，基于希伯来语中心化数据训练，而DictaLM2.0则衍生自Mistral模型，在约2000亿标记的语料上训练。这些模型逐步提升了希伯来语NLP任务的性能。
议会语料库的规模与用途
文章发布了两个议会相关语料库：一是以色列议会辩论记录，涵盖1998至2022年，包含3000万句子，注有形态-句法信息；二是IsraParlTweet，包含1992至2023年议会讨论和2008至2023年议员推文链接，共2.945亿希伯来语令牌。这些语料库支持政治话语分析，例如研究辩论中词汇丰富度的历史变化和性别风格差异，为语言学、政治学等领域提供数据基础。
技术特点与评估基准
文章介绍了多项技术改进：AlephBERTGimmel使用128K词汇表，减少分割以提升性能；DictaLM2.0采用针对新语言的预训练技术，并引入新的希伯来语LLM评估基准，涵盖问答、情感分析等任务；D-Nikud结合LSTM和BERT进行音符标注。这些工作不仅提升了希伯来语任务表现，也为其他资源匮乏语言提供了可借鉴的框架。
Q&A
DictaBERT 是什么？
DictaBERT 是一种用于现代希伯来语的预训练 BERT 模型，在多个基准测试中表现优越。
以色列议会辩论记录的语料库包含什么内容？
该语料库包含从1998年到2022年以色列议会的所有主要和委员会记录，共有3000万句子，注有形态-句法信息。
DictaLM 模型的特点是什么？
DictaLM 是一个专为现代希伯来语设计的大规模语言模型，拥有70亿参数，主要基于希伯来语中心化的数据进行训练。
如何使用 DictaBERT 进行希伯来语句子的前缀分词和形态标记？
开发者可以通过调用 HuggingFace 模型的一个简单调用来进行前缀分词和形态标记，无需集成额外的库或代码。
AlephBERT 在希伯来语任务中的表现如何？
AlephBERT 在多个希伯来语任务和基准测试中提供了新的最先进结果，包括分词、词性标注和情感分析。
D-Nikud 方法的创新之处是什么？
D-Nikud 是一种结合了 LSTM 网络和基于 BERT 的预训练模型优势的希伯来语音符标注方法，展示了在多个基准数据集上的最先进结果。
