基于语义文本指导的降级感知与交互图像融合技术

该文章介绍了一种以文本为导向的融合方法，利用高级语义和视觉-语言模型建立文本与图像信号之间的关联机制。通过在变换器网络中嵌入仿射融合单元，实现了在特征级别上融合文本和图像模态。作者还发布了一个文本注释的图像融合数据集，以促进该方法的实施和在研究社区的采用。实验证明该方法在传统的基于外观的融合方法上表现优异。