百川 2：开放的大规模语言模型

本文介绍了OpenBA，一个开源的150亿双语不对称seq2seq模型，采用三阶段训练策略从头开始训练模型，并在多个自然语言处理任务上展现出卓越性能。该模型提供了预训练的主要细节，并重构了代码以符合Huggingface Transformers Library的设计原则。