量子位
·
2025外滩大会：蚂蚁、人大发布首个原生MoE扩散语言模型，将于近期开源
内容提要
蚂蚁集团与人民大学联合发布了首个原生MoE架构的语言模型LLaDA-MoE，经过20T数据训练，性能超越LLaDA1.0/1.5和Dream-7B，推理速度高效。该模型将于近期开源，推动全球AI技术发展。
关键要点
-
蚂蚁集团与人民大学联合发布了首个原生MoE架构的语言模型LLaDA-MoE。
-
该模型在约20T数据上完成了从零训练，性能超越LLaDA1.0/1.5和Dream-7B。
-
LLaDA-MoE模型将于近期完全开源，推动全球AI技术发展。
-
新模型通过非自回归的掩码扩散机制，实现了与Qwen2.5相当的语言智能。
-
LLaDA-MoE在代码、数学、Agent等任务上表现优于LLaDA1.0/1.5和Dream-7B。
-
模型验证了工业级大规模训练的扩展性和稳定性。
-
研究团队在LLaDA-1.0基础上重写训练代码，采用了7B-A1B的MOE架构。
-
LLaDA-MoE在17项基准测试中平均提升8.4%，与Qwen2.5-3B-Instruct打平。
-
蚂蚁将开源针对dLLM并行特性优化的推理引擎，显著加速推理过程。
-
蚂蚁将继续投入AGI领域，推动AGI的新突破。
延伸解读
LLaDA-MoE的技术创新
LLaDA-MoE模型采用了非自回归的掩码扩散机制，突破了传统自回归模型的局限。这一创新使得模型在处理上下文学习和指令遵循等任务时，能够更好地捕捉双向依赖关系，提升了语言智能的表现。
开源对AI社区的影响
蚂蚁集团计划将LLaDA-MoE模型及其推理引擎开源，这将为全球AI研究者提供强大的工具，促进技术共享与合作。开源不仅能加速技术进步，还可能推动AGI领域的进一步突破，吸引更多的研究者参与。
性能与效率的平衡
LLaDA-MoE在性能上超越了多个现有模型，并且在推理速度上具有显著优势。通过激活较少的参数，模型依然能实现与更大模型相当的效果，这为资源有限的研究团队提供了高效的解决方案。
延伸问答
LLaDA-MoE模型的主要特点是什么？
LLaDA-MoE模型是首个原生MoE架构的扩散语言模型，经过20T数据训练，性能超越LLaDA1.0/1.5和Dream-7B，推理速度高效。
LLaDA-MoE模型将于何时开源？
LLaDA-MoE模型将于近期完全开源。
LLaDA-MoE模型在性能上与其他模型相比如何？
LLaDA-MoE在代码、数学、Agent等任务上表现优于LLaDA1.0/1.5和Dream-7B，且与Qwen2.5-3B-Instruct的性能相当。
LLaDA-MoE模型采用了什么样的训练机制？
LLaDA-MoE模型通过非自回归的掩码扩散机制进行训练，首次在大规模语言模型中实现了与Qwen2.5相当的语言智能。
蚂蚁集团在AGI领域的未来计划是什么？
蚂蚁集团将持续投入AGI领域，推动AGI的新突破，并计划与学界和全球AI社区共同合作。
LLaDA-MoE模型的训练数据量是多少？
LLaDA-MoE模型在约20T数据上完成了从零训练。
