MoE通过稀疏激活解耦参数量与计算量,但代价转移至路由稳定性、通信和推理效率。训练中需应对过载丢token、专家塌缩和路由抖动,All-to-All通信是主要成本。推理时小batch降低专家利用率。MoE并非免费容量,其优势在预训练FLOPs上成立,但微调和通信场景需权衡。
本研究提出了一种主动滚动路由框架,解决多容量自主机器人在取送任务中的路由稳定性问题。通过舰队规模算法,确保形成足够大的舰队以实现稳定性。案例研究表明,该方法在小规模舰队中服务请求提高6%,乘客中位等待时间减少33%。
完成下面两步后,将自动完成登录并继续当前操作。