阿里巴巴发布Qwen3.8-Max多模态模型,拥有2.4万亿参数,采用稀疏混合专家架构,每次激活约950亿参数。该模型面向复杂任务,可自主运行数天,如构建应用、复现研究等。定价为每百万输入令牌2美元,输出6美元。权重将开源,但自托管需大量GPU资源,适合大型机构。性能接近Anthropic和OpenAI模型,但独立验证尚待进行。
本研究探讨了语言模型中参数数量与计算量之间的关系,重点分析了稀疏混合专家模型的稀疏性对性能的影响。研究表明,优化稀疏性能够提升训练效率和模型性能,为设计更高效的架构提供了新视角。
AIxiv报道了Salesforce、新加坡国立大学和香港科技大学(广州)共同开发的时序预测模型Moirai-MoE。该模型利用稀疏混合专家技术,在39个数据集上显著提升了预测性能,克服了传统模型在多样化时序数据上的局限性,同时在训练效率和推理速度上也表现优异。
完成下面两步后,将自动完成登录并继续当前操作。