本研究探讨了混合专家模型在回归问题中的应用，提出了改进的分布式回归损失和基于视觉Transformer的领域泛化模型GMoE，显著提升了预测准确性和学习效率。同时，研究还提出了新的概率混合专家策略和双层MoE模型，优化了不平衡数据学习和任务分类性能。