本文讨论了稀疏专家混合（MoE）架构，提出通过专家路径分析MoE计算。尽管存在众多可能路径，实际中令牌集中在少数路径上，导致统计低效。为此，提出PathMoE架构，通过共享路由参数增强路径结构，提升跨层一致性和鲁棒性。实验结果表明，PathMoE在困惑度和下游任务上优于独立路由，证明专家路径是MoE架构设计的重要方向。