SwapNet: 边缘 AI 设备上高效交换的 DNN 推断处理超出内存预算

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

SwapNet是一种用于边缘人工智能设备的高效DNN块交换中间件,能够在较小的内存预算内执行大规模DNN。它通过消除不必要的内存操作,几乎与具有充足内存的情况下的延迟相同。SwapNet的设计为将大型语言模型部署到边缘人工智能设备上提供了新的见解。

🏷️

标签

➡️

继续阅读