MoMoE（内存优化的专家混合模型）通过结合Triton内核和优化内存布局，显著提高了混合专家模型的训练和推理速度及内存效率。与现有开源实现相比，MoMoE在前向和反向传递中具有更高的吞吐量和更低的内存消耗，适合大规模训练和推理。该实现允许用户灵活选择内存与计算的权衡，推动了专家混合模型的高效应用。