Ai2 开源 OLMo-core 3，重写 MoE 训练系统，专家池扩至 128、参数达 470 亿，吞吐提升约 2.7 倍。报告指出“token gerrymandering”问题：全局均衡分数可能掩盖分时间窗的专家热点，导致局部拥堵。建议路由验收按时间窗、分层、分 GPU 进行，监控峰值占比、丢弃 Token 与通信等待，并设置停机条件。