本文介绍了SpecMD,一个用于评估混合专家(MoE)模型缓存策略的标准化框架。研究表明,MoE专家的访问模式与传统的时间局部性假设不符,因此提出了一种新的Least-Stale驱逐策略,显著减少了缓存冲突,提高了命中率。实验结果验证了该策略在不同硬件配置下的有效性。
完成下面两步后,将自动完成登录并继续当前操作。