初心:1.6B 技术报告
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了 ChuXin,这是一个完全开源的语言模型,具有 1.6 亿个参数。通过轻量级的持续预训练,我们将上下文长度扩展到 1M 个标记,并展示了强大的针对大数据检索性能。
本报告介绍了StableLM 2 1.6B的基础版本和指令调优版本的数据和训练过程,并提供了权重下载。该模型是最先进的开放模型,具有显著优势。报告还包括边缘设备上的吞吐量测量和性能指标。
我们提出了 ChuXin,这是一个完全开源的语言模型,具有 1.6 亿个参数。通过轻量级的持续预训练,我们将上下文长度扩展到 1M 个标记,并展示了强大的针对大数据检索性能。
本报告介绍了StableLM 2 1.6B的基础版本和指令调优版本的数据和训练过程,并提供了权重下载。该模型是最先进的开放模型,具有显著优势。报告还包括边缘设备上的吞吐量测量和性能指标。