本研究提出了一种新方法，通过视觉 Transformer 编码器的中间层融合语言和视觉特征，提升交叉模态对齐，实现精准分割。该方法在多个数据集上超越了现有最佳性能，展示了在指称分割任务中的有效性。

本文提出了一种名为“Multimodal Federated Cross Prototype Learning (MFCPL)”的新方法，通过交叉模态正则化和对比机制，引入交叉模态对齐来增强特定模态特征的整体性能，尤其在存在严重缺失模态的场景中表现出优异的效果。

本文介绍了一种名为PANDA的预训练框架，用于解决预训练视觉语言模型在视觉和语言导航任务中的领域差异和交叉模态对齐的问题。通过对比学习，PANDA在R2R和REVERIE任务上取得了优于之前方法的结果。