Mistral AI发布了Mistral 3系列模型，优化了NVIDIA平台，支持云到边缘的分布式智能。Mistral Large 3采用混合专家模型，具备41B活跃参数和675B总参数，提供高效能和准确性，适用于企业AI，支持快速部署和定制，推动AI创新。

LongCat-Flash-Chat正式发布并开源，采用混合专家模型架构，参数总量560B，激活参数27B，性能优越且推理速度快，适合复杂智能体应用。评测显示其在智能体工具使用和指令遵循方面表现卓越，支持高效部署，开源地址为GitHub和官网。

OpenAI发布了开源模型GPT-OSS，包含20B和120B两种参数，采用混合专家模型，支持128K的上下文。这一举措加剧了中美AI竞争，展示了不同的开源策略。中国的开源模型如千问和DeepSeek直接开放最新版本，与美国的“开小闭大”策略形成对比。两国在AI领域的博弈将持续，未来发展值得关注。

MoMoE（内存优化的专家混合模型）通过结合Triton内核和优化内存布局，显著提高了混合专家模型的训练和推理速度及内存效率。与现有开源实现相比，MoMoE在前向和反向传递中具有更高的吞吐量和更低的内存消耗，适合大规模训练和推理。该实现允许用户灵活选择内存与计算的权衡，推动了专家混合模型的高效应用。

NEXA-MOE是一种高效的混合专家模型，参数仅1.1亿，能够在物理、生物和材料科学领域进行假设生成和方法设计。其模块化架构通过智能路由优化资源使用，在有限硬件上实现卓越性能，展示了在资源受限环境中构建高效AI系统的可能性。

本文提出了一种新的混合专家模型（EC-DIT），通过优化专家选择路由以适应不同文本图像的复杂度。EC-DIT可扩展至970亿参数，显著提升训练收敛性和生成质量，并在文本对齐评估中获得71.68%的最佳GenEval分数。

Llama 4发布了三个版本，支持1,000万TOKEN的长上下文，并采用混合专家模型。尽管中文能力有所提升，但与主流模型相比进步不明显，市场反响平淡。开源模型竞争激烈，千问和DeepSeek等已具备可用性，Meta需寻找新应用场景以保持竞争力。

MeteoRA是一个高效的多任务嵌入架构，通过LoRA适配器和混合专家模型（MoE）提升大语言模型性能，支持自主选择和切换LoRA适配器，显著增强复合任务处理能力，实验结果显示其在多项任务中表现优异。

AIxiv专栏报道了一项新研究，提出通过轻量通信将混合专家模型（MoE）的局部均衡转变为全局均衡，从而显著提升模型性能和专家特异性。这一方法有效解决了MoE训练中的负载均衡问题，促进了专家的分化，具有重要的学术价值。

混合专家模型（MoE）通过动态激活参数提高效率，但训练中存在专家激活不均衡的问题。为解决此问题，引入全局负载均衡（LBL），显著提升模型性能和专家特异性。实验表明，扩大均衡范围可改善模型效果，局部均衡的适度添加也能提高效率。这项研究为MoE模型优化提供了新视角，助力更大规模的模型训练。

Deepseek V3是一种先进的混合专家模型（MoE），通过细粒度专家和多头潜在注意力机制，显著降低训练和推理成本。与传统模型相比，Deepseek V3在多样化任务处理上表现优异，适合资源有限的环境。尽管存在存储需求高和微调复杂等缺点，但其开源特性吸引了众多开发者。