什么是“专家混合模型”（Mixture-of-Experts，MoE）？ [译]

专家混合模型（MoE）是一种融合多个专家层的Transformer架构，路由器通过softmax门控将每个输入Token动态分配给部分专家处理，专家可为小型MLP或大型语言模型。该架构让专家专注不同任务，在增加可学习参数的同时不增加推理成本，并支持稀疏矩阵与GPU并行，从而降低计算成本、缩短训练时间并提升效果。