本研究提出了ExpertFlow系统，解决了稀疏混合专家模型在推理中的高内存需求和低效缓存利用问题，实现了93.72%的GPU内存节省和2到10倍的推理速度提升。

ExpertFlow：优化专家激活和令牌分配以实现高效混合专家推理
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证