EdgeMoE是面向边缘设备的第一个推理引擎，通过分割模型在存储层次结构中提高内存和计算效率。EdgeMoE使用创新技术降低I/O交换开销，相比竞争性基线解决方案，在内存节省和性能改进方面具有显著优势。

EdgeMoE: 基于 MoE 的大规模语言模型的快速设备上推断
BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证