MenakBERT -- 希伯来文添加元音标记工具
原文中文,约300字,阅读约需1分钟。发表于: 。本研究旨在解决在希伯来文中添加元音标记的任务,即当前方法依赖于人工策划资源的问题。通过提出MenakBERT,这个基于字符的预训练语言模型,进行了专门的微调,以提高对希伯来句子的元音标记生成能力。研究结果表明,该方法在近音标记的同时,也能有效促进其他语言处理任务,如词性标注。
我们推出了DictaBERT,一个用于现代希伯来语的预训练BERT模型,性能优于现有模型。还发布了两个针对希伯来文本分析的精细调整模型:前缀分词和形态标记。这些模型可通过HuggingFace使用,并提供训练细节和基准测试结果,促进希伯来语自然语言处理的研究。