联想变压器是一种稀疏表示学习器
原文中文，约300字，阅读约需1分钟。发表于：。建立在生物学原理的基础上，我们提出了关联变压器（AiT），它通过引入显式记忆形成注意力瓶颈，并在共享工作空间和关联记忆中形成吸引子，从而在不同视觉任务中展示出了比 Set Transformer、Vision Transformer 和 Coordination 等方法更好的性能。
该论文提出了一种名为ITA的新型加速器架构，可用于高效推理Transformer模型和相关模型。该架构利用8位量化和一种仅操作整数值的创新softmax实现，实现了低功耗和高效能。ITA与最先进的Transformer加速器相媲美，达到了16.9 TOPS/W和每平方毫米5.93 TOPS/mm²的性能。
