H2O-Danube-1.8B 技术报告
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
Orion-14B是一个包含140亿参数的多语言大型语言模型集合,通过训练和调整一系列模型,在广泛任务中实现了最先进的性能。提供了Orion-14B模型系列及其相关代码,旨在促进该领域的研究和应用。
🎯
关键要点
-
Orion-14B是一个包含140亿参数的多语言大型语言模型集合。
-
基础模型通过数据调度方法在多样文本语料库中训练,包括英语、中文、日语、韩语等语言。
-
对话和其他特定用例的一系列模型经过精细调整。
-
评估结果显示Orion-14B在广泛任务中实现了最先进的性能。
-
Orion-14B模型系列及其相关代码通过公开访问的链接提供,旨在促进研究和应用。
➡️