SLAB：华为开源，通过线性注意力和PRepBN提升Transformer效率 | ICML 2024 - 晓飞的算法工程笔记

晓飞的算法工程笔记 ·

本论文提出了一种高效的Transformer架构，通过渐进重参数化批归一化和简化线性注意力的方法，在推理阶段提高效率。该方法在多个基准测试中展示了强大的性能，特别适用于图像分类和物体检测任务。

Transformer架构 transformer 华为工程性能推理阶段渐进重参数化批归一化简化线性注意力算法

原文中文，约5900字，阅读约需14分钟。