MoE-Infinity是一种成本高效的专家混合系统，通过卸载感知的专家来降低延迟开销，提高性价比。实验结果显示，MoE-Infinity优于现有系统和方法，延迟降低了4-20倍，部署成本降低了8倍以上。

MoE-Infinity: 激活感知的专家卸载以提升 MoE 服务的效率
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证