研究人员提出了一种灵活的注意力机制FlexAttention，通过使用高分辨率和低分辨率标记编码图像，并只利用低分辨率标记和一些选定的高分辨率标记来计算注意力图，从而显著减小了计算成本。实验证明，FlexAttention在多模态基准测试中提高了约9％，在TextVQA上提高了约7％，同时将计算成本显著降低约40％。