打破线性注意力的低秩困境
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本研究提出了一种创新的秩增强视觉线性变换器(RAVLT),通过改进线性注意力机制,在多个视觉任务中表现优异,尤其在ImageNet-1k上达到了84.4%的准确率。
🏷️