连续学习中的专家混合理论

提出了一种新的 MoE 门控网络结构，类似于注意力机制，提高任务分解性能并降低熵。

引入基于方差的约束促进专家层学习更多不同和适当的知识，提出专家集群结构的丢失策略。

在有限数据条件下，该模型有效缓解过拟合和稀疏数据问题，提升机器翻译和自然语言理解任务的性能。

使用数据特定的专家组结构解决新任务，确保网络参数对先前任务的影响最小化，降低内存开销。

研究 MoE 层如何提高神经网络性能，证明路由器可以学习聚类中心特征，帮助将复杂问题分解为简单子问题。

提出基于单门 MoE 的高效异步训练方法，实现高效率与高准确率的权衡。

提出新颖的负载均衡和局部性相结合的路由策略，减少训练时间而不影响模型准确性。

HyperMoE 框架利用未选择的专家生成的特定模块，显著优于现有 MoE 方法。

探索稀疏专家混合模型的泛化误差，提供如何使用稀疏性提高模型泛化性能的见解。

自适应门控混合专家模型通过可变数量的专家处理令牌，提高训练效率并保持推理质量。

针对低资源任务的过拟合问题，提出有效的正则化策略，显著提高 MoE 模型性能。