高分辨率视觉 - 语言模型的高效灵活注意力机制

Hydra Attention 是一种高效的注意力操作，使用多头注意力与特征数相同，计算速度比现有的 self-attention 更快，同时在 ImageNet 数据集上保持高准确性。

FastV 通过学习自适应注意力模式和精简视觉标记，显著降低计算成本，并在各种图像和视频理解任务中保持优秀性能，适合边缘设备和商业模型的部署。

HiT 模型结合多维块自注意力与多层感知机，在高清图像生成领域表现优于传统卷积方法。

研究提出的高分辨率稀疏注意力模块和生成器架构，能够有效实现图像修补和布局操作，显著提高性能。

新的 CNN 模型结构和快速空间注意力机制在实时高分辨率图像和视频的语义分割中表现出更好的准确性和速度，较现有方法快约 50%。

高分辨率图像生成的两阶段框架通过引入局部关注机制和全局关注机制，实现了更高效率和更好的重建质量。

LITv2 是一种高效的 ViT，基于直接速度评估和新的自我注意机制 HiLo，显著提高图像分类、密集检测和分割的效率。

新型空间感知自注意力模型在 TextVQA 任务中有效推理图像中的文本内容，改进了关键指标。

有键-值注意机制的神经语言模型在输出不同的 key 和 value 表示方面表现优于现有模型，主要利用最近五个输出表示的记忆。