极道
·
YAYI2-30B：中科闻歌开源大模型
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
YAYI 2是中科闻歌研发的开源大语言模型，参数规模为30B。经过高质量、多语言语料的预训练，YAYI 2在语言理解、学科知识、数学推理、逻辑推理以及代码生成方面表现出了显著的性能提升。模型遵循Apache-2.0开源许可，使用需遵循雅意YAYI 2模型社区许可协议。
🎯
关键要点
- YAYI 2是中科闻歌研发的开源大语言模型，参数规模为30B。
- YAYI 2包括Base和Chat版本，基于Transformer架构。
- 经过2.65万亿Tokens的高质量、多语言语料的预训练。
- 采用百万级指令进行微调，以更好地与人类价值观对齐。
- 在语言理解、学科知识、数学推理、逻辑推理和代码生成方面表现出显著性能提升。
- 在多个基准数据集上评测结果优异，MMLU上报告80.5，HumanEval上报告53。
- 模型结构与LLaMA-2-30B相似，具有4K上下文。
- 数据集从240 TB过滤到10 TB，使用Deepseek管道表现良好。
- 模型遵循Apache-2.0开源许可，使用需遵循雅意YAYI 2模型社区许可协议。
➡️
