高分辨率视觉 - 语言模型的高效灵活注意力机制

BriefGPT - AI 论文速递 · 2024-07-29T00:00:00Z

研究人员提出了一种灵活的注意力机制FlexAttention，通过使用高分辨率和低分辨率标记编码图像，并只利用低分辨率标记和一些选定的高分辨率标记来计算注意力图，从而显著减小了计算成本。实验证明，FlexAttention在多模态基准测试中提高了约9％，在TextVQA上提高了约7％，同时将计算成本显著降低约40％。