BriefGPT - AI 论文速递 · 2025-03-07T00:00:00Z

容量感知推理：缓解混合专家中的滞后效应

📝

内容提要

本研究解决了混合专家架构在推理过程中由于专家负载不均导致的效率低下问题。通过提出容量感知推理技术，包括容量感知令牌丢弃和容量感知令牌重定向，有效地平衡了令牌分配，显著提高了推理效率，测试结果显示推理速度提高了1.94倍，同时平均性能提升0.2%。