GeminiFusion: 高效按像素多模态融合的视觉 Transformer
原文中文,约300字,阅读约需1分钟。发表于: 。跨模态变换器已经在不同的视觉任务中展示了优越性能,本文提出了一种像素级融合方法 GeminiFusion,它通过融合模态内部关注和模态间关注,动态地整合跨模态的互补信息,同时通过层自适应噪声实现了协调的融合过程,该方法在多模态图像转换、三维物体检测和任意模态的语义分割任务中表现出优秀的性能。
本文介绍了一种像素级融合方法GeminiFusion,通过融合模态内部关注和模态间关注,实现了协调的融合过程。该方法在多模态图像转换、三维物体检测和任意模态的语义分割任务中表现出优秀的性能。