SparseByteNN:一种基于细粒度分组稀疏性的新型移动推理加速框架

💡 原文中文,约700字,阅读约需2分钟。
📝

内容提要

SparseByteNN是一种新颖的移动推理加速框架,通过利用细粒度的内核稀疏性实现实时执行和高准确性。实验结果表明,SparseByteNN相对于密集版本获得了1.27倍的加速,并相对于最先进的稀疏推理引擎MNN获得了1.29倍的加速,准确性略有下降。

🏷️

标签

➡️

继续阅读