Meltemi:希腊首个开放式大型语言模型
原文中文,约300字,阅读约需1分钟。发表于: 。描述了 Greek 语言的第一个开放式大规模语言模型 Meltemi 7B 的开发和功能,该模型有 70 亿个参数,训练于一个 400 亿个词元的 Greek 语料库。模型包括截至 2023 年 9 月的最新信息,并且还翻译和整理了一份 Greek 指令语料库,用于调整 Meltemi 7B Instruct 的聊天模型。评估了开发的模型,并展示了提示和回应的示例。Meltemi 7B 和...
本文介绍了Dolma,一个混合构建的英文语料库,包括网络内容、科学论文、代码、公共领域图书、社交媒体和百科全书材料。文章分享了Dolma的设计原则、构建细节和内容摘要,并介绍了使用Dolma训练语言模型的实验结果。