SHARCS: 通过动态宽度子网络进行有效的 Transformer 路由

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

SHARCS是一种自适应推理方法,通过训练路由器将不同难度的输入样本定向到具有不同宽度的子网络,能够泛化到不同的架构,提高效率并且能够在几乎不损失准确性的情况下提供2倍的推理加速。

🏷️

标签

➡️

继续阅读