H2O-Danube-1.8B 技术报告

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

Orion-14B是一个包含140亿参数的多语言大型语言模型集合,通过训练和调整一系列模型,在广泛任务中实现了最先进的性能。提供了Orion-14B模型系列及其相关代码,旨在促进该领域的研究和应用。

🎯

关键要点

  • Orion-14B是一个包含140亿参数的多语言大型语言模型集合。

  • 基础模型通过数据调度方法在多样文本语料库中训练,包括英语、中文、日语、韩语等语言。

  • 对话和其他特定用例的一系列模型经过精细调整。

  • 评估结果显示Orion-14B在广泛任务中实现了最先进的性能。

  • Orion-14B模型系列及其相关代码通过公开访问的链接提供,旨在促进研究和应用。

➡️

继续阅读