CaMDN:提升集成NPU上多租户DNN的缓存效率

📝

内容提要

本研究解决了多租户DNN应用中共享缓存对性能的影响不足的问题。提出了一种名为CaMDN的架构调度协同设计,通过支持模型专属的NPU控制区域,有效消除缓存争用,并通过动态分配算法提高缓存利用率。研究发现,CaMDN平均减少了33.4%的内存访问次数,模型加速提升可达2.56倍。

🏷️

标签

➡️

继续阅读