百川 2:开放的大规模语言模型
原文中文,约500字,阅读约需2分钟。发表于: 。Baichuan 2 是一系列大规模多语言语言模型,包含 70 亿和 130 亿参数,从头开始训练,共有 2.6 万亿个标记。Baichuan 2 在公共基准测试中表现出与其他类似规模的开源模型相匹配或超越的性能,如 MMLU、CMMLU、GSM8K 和 HumanEval,此外,Baichuan 2 在医学和法律等垂直领域表现出色。我们将发布所有的预训练模型检查点,以便研究界更好地理解...
本文介绍了OpenBA,一个开源的150亿双语不对称seq2seq模型,采用三阶段训练策略从头开始训练模型,并在多个自然语言处理任务上展现出卓越性能。该模型提供了预训练的主要细节,并重构了代码以符合Huggingface Transformers Library的设计原则。