当前最先进的开源模型如Kimi K2 Thinking和Mistral Large 3采用专家混合架构（MoE），在NVIDIA GB200 NVL72上运行速度提升10倍。MoE模型通过激活特定“专家”提高效率，降低计算成本，已成为前沿模型的标准。NVIDIA的协同设计解决了MoE模型的扩展瓶颈，显著提升了性能和能效。

Meta推出Llama 4系列大型语言模型，包括Llama 4 Scout和Maverick，具备多模态处理能力，支持文本、视频、图像和音频。Llama 4采用专家混合架构，提升性能，Scout在基准测试中表现优异，Maverick在编码和推理任务上与GPT-4o相当，推动AI技术发展。

DeepSeek V3是一种先进的大型语言模型，采用多头潜在注意力机制和专家混合架构。freeCodeCamp.org YouTube频道推出的新课程，教授如何从零开始理解和编码DeepSeek V3，涵盖核心组件及理论与代码的结合。

DeepSeek R-1是中国的一种大型语言模型，训练成本为600万美元，性能与OpenAI的o1相当。它采用专家混合架构，具备高效计算能力和128K上下文长度。尽管表现优异，但存在安全性、可靠性和生成虚假答案等问题。

DeepSeek-R1是一个开源推理模型，拥有6710亿参数，采用专家混合架构，兼具性能与效率。其强化学习方法使其能够自主推理和自我验证，适用于数学和编码等复杂问题。在多个基准测试中，DeepSeek-R1表现优异，提供更好的推理洞察。