NOVA: 基于片上网络的向量单元，用于在 CNN 加速器上映射注意力层
内容提要
本研究介绍了NOVA，一种基于NoC的向量单元，可在加速器的NoC中执行非线性操作，并能覆盖现有的神经加速器，以在边缘计算中映射注意力层。NOVA体系结构比最先进的硬件逼近器高效节能，可提高功率效率高达37.8倍。
延伸解读
NOVA 如何提升注意力层在边缘设备上的能效
NOVA 通过在片上网络（NoC）中直接执行非线性操作，避免了数据在计算单元与存储之间的频繁搬运，从而降低了能耗。这种设计特别适合边缘计算场景，因为边缘设备通常对功耗和延迟有严格限制。与传统的硬件逼近器相比，NOVA 在运行基于注意力的神经网络时，功率效率最高可提升 37.8 倍，这意味着在相同电量下可以完成更多推理任务，或者延长设备的续航时间。
覆盖现有加速器的兼容性优势
NOVA 能够覆盖现有的神经加速器，这意味着它不需要完全重新设计硬件，而是可以在已有加速器的基础上进行扩展或集成。对于硬件设计者而言，这降低了升级到支持注意力机制的门槛，也保护了原有投资。这种兼容性使得 NOVA 更容易被部署到现有的边缘计算平台中，加速注意力层在自然语言处理和视觉等领域的实际应用。
与硬件逼近器的对比：精度与效率的权衡
文章提到 NOVA 比最先进的硬件逼近器更高效节能。硬件逼近器通常通过近似计算来降低功耗，但可能牺牲精度。NOVA 在 NoC 中执行非线性操作，可能避免了部分近似带来的精度损失，同时实现了更高的能效。不过，文章未具体说明精度对比数据，因此在实际应用中，读者需要关注 NOVA 在保持模型准确率方面的表现，以及是否适用于对精度要求极高的任务。
Q&A
NOVA是什么？
NOVA是一种基于NoC的向量单元，用于在加速器中执行非线性操作。
NOVA如何提高功率效率？
NOVA的体系结构比最先进的硬件逼近器高效节能，功率效率提高高达37.8倍。
NOVA在边缘计算中的应用是什么？
NOVA能够覆盖现有的神经加速器，以在边缘计算中映射注意力层。
NOVA与现有神经加速器相比有什么优势？
NOVA在执行非线性操作时比现有神经加速器更高效，能更好地支持注意力层的映射。
NOVA的设计基础是什么？
NOVA基于片上网络（NoC）设计，旨在优化加速器的性能。
NOVA的研究结果表明了什么？
研究结果表明，NOVA在运行基于注意力的神经网络时，能显著提高能效。
