本研究探讨了语言模型中参数数量与计算量之间的关系，重点分析了稀疏混合专家模型的稀疏性对性能的影响。研究表明，优化稀疏性能够提升训练效率和模型性能，为设计更高效的架构提供了新视角。
AIxiv报道了Salesforce、新加坡国立大学和香港科技大学（广州）共同开发的时序预测模型Moirai-MoE。该模型利用稀疏混合专家技术，在39个数据集上显著提升了预测性能，克服了传统模型在多样化时序数据上的局限性，同时在训练效率和推理速度上也表现优异。
完成下面两步后，将自动完成登录并继续当前操作。
