本文介绍了多个开源大语言模型,如StableLM、Dolly、Baichuan-13B和ChatGLM2-6B。这些模型具有高质量、多功能和高效推理的特点,适用于对话、分类和代码生成等场景,并在性能和上下文处理上有显著提升,适合开发者和研究人员使用。
该研究通过训练 UserGPT 模拟器,产生了高质量的合成对话数据集 RealChat,并在实验中表现出极高的竞争力。ReaLM 在 MT-Bench 中获得领先分数,展示了可扩展性和可迁移性。研究还探索了训练集数据质量与模型性能之间的相互作用。
Dolly 2.0是一个开源的大型语言模型,经过人类生成的指令数据集fine-tuned。数据集包含15,000个高质量的人类生成的提示/响应对,专门设计用于指令调整大型语言模型。该模型基于EleutherAI pythia模型系列,适用于商业使用。模型权重、训练代码和数据集都是开源的。Dolly 2.0表现出高质量的指令跟随行为,可用于摘要和内容生成。发布Dolly 2.0和开源数据集鼓励在人工智能领域进行评论、研究和创新。
Update Apr 12, 2023: We have released Dolly 2.0, licensed for both research and commercial use. See the new blog post here. Summary...
完成下面两步后,将自动完成登录并继续当前操作。