视觉多专家中的路由器:实证研究 该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究,提出了一个统一的 MoE 公式,该公式涵盖了使用两个参数化路由张量的不同 MoEs(包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE),并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。 该研究提出了一个统一的MoE公式,揭示了路由器在视觉MoE模型中的重要作用。