本论文介绍了两个大型语言模型DictaLM2.0和DictaLM2.0-Instruct,它们是基于Mistral模型训练的,使用了约2000亿个标记的希伯来语和英文语料库。作者提出了一种针对新语言的预训练模型的技术,并对DictaLM2.0-Instruct进行了微调,以提高其在特定任务上的性能。作者还引入了一个新的希伯来语LLM评估基准套件,用于对模型进行评估。这项工作不仅解决了在资源匮乏的语言中训练LLMs的问题,还为多语言自然语言处理领域做出了贡献。
本文介绍了最新的希伯来语预训练BERT模型DictaBERT,其在基准测试中表现优于其他模型。作者还发布了两个用于希伯来文本分析的模型版本,包括前缀分词和形态标记。这些模型可以通过简单调用HuggingFace模型来使用,无需额外的库或代码。作者详细描述了训练细节和基准测试结果,并将模型和示例代码发布给社区,以促进希伯来语自然语言处理的研究和开发。
完成下面两步后,将自动完成登录并继续当前操作。