量子位
·
中国最大开源MoE模型，255B参数无条件免费商用，元象发布
内容提要
中国最大开源MoE模型XVERSE-MoE-A36B总参数255B，激活参数36B，训练时间减少30%，推理性能提升100%。该模型效果超越多个同类模型，包括国内千亿MoE模型Skywork-MoE、Mixtral-8x22B和Grok-1-A86B。MoE是混合专家模型架构，能在扩大模型规模时保持性能最大化。元象的MoE模型全部开源，无条件免费商用。
关键要点
-
中国最大开源MoE模型XVERSE-MoE-A36B，总参数255B，激活参数36B。
-
训练时间减少30%，推理性能提升100%。
-
模型效果超越多个同类模型，包括Skywork-MoE、Mixtral-8x22B和Grok-1-A86B。
-
MoE架构能在扩大模型规模时保持性能最大化，减少计算成本。
-
元象的MoE模型全部开源，无条件免费商用。
-
XVERSE-MoE-A36B采用更细粒度的专家设计，提高模型灵活性与性能。
-
共享专家和非共享专家的设计减少知识冗余。
-
4D拓扑架构优化计算效率，减少通信负担。
-
专家路由与预丢弃策略减少不必要的计算和传输。
-
动态数据切换提升模型的语料覆盖面和泛化能力。
-
学习率调度策略优化模型在数据切换后的学习速度。
-
元象MoE模型与Dense模型相比，训练时间减少30%，推理性能提升100%。
-
元象基于MoE模型研发的Saylo应用在港台火爆，下载量名列前茅。
-
元象成为全国最早获得生成式人工智能服务管理备案的大模型之一。
-
与腾讯音乐合作推出lyraXVERSE，升级音乐助手的能力。
延伸问答
XVERSE-MoE-A36B模型的参数配置是什么？
XVERSE-MoE-A36B模型总参数为255B，激活参数为36B。
XVERSE-MoE-A36B模型相比于其他模型有什么优势？
该模型训练时间减少30%，推理性能提升100%，效果超越多个同类模型。
MoE架构的主要特点是什么？
MoE架构通过组合多个专家模型，能在扩大模型规模时保持性能最大化，减少计算成本。
元象的MoE模型是否开源？
是的，元象的MoE模型全部开源，并且无条件免费商用。
XVERSE-MoE-A36B模型在训练过程中采用了哪些技术创新？
该模型采用了4D拓扑架构、专家路由与预丢弃策略，以及动态数据切换等技术创新。
元象的Saylo应用有什么特点？
Saylo是一款基于MoE模型的AI角色扮演与互动网文APP，因其逼真的角色扮演和开放剧情而受到欢迎。
