本研究提出了一种混元大模型，参数达到3890亿，克服了开源Transformer混合专家模型的不足。该模型在基准测试中表现优异，超越了LLama3.1-70B，并与LLama3.1-405B相当，推动了模型开发的进展。

混元大模型：腾讯推出的开源MoE模型，激活参数达到520亿
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证