门控插槽注意力用于高效线性时间序列建模

BriefGPT - AI 论文速递 · 2024-09-11T00:00:00Z

在计算机视觉任务中，引入了适用于视觉的门控线性注意力（GLA），通过方向性门控和二维门控局部注入来提高模型性能。ViG在ImageNet和下游任务中表现优于Transformer和基于CNN的模型。ViG-S和ViG-T在性能和资源消耗方面都有显著的改进。