本研究提出了一种BiDepth多模态神经网络（BDMNN），有效整合动态系统中的时空信息，分别将城市交通和降雨预测的均方误差降低12%和提高15%。

研究人员通过训练多模态神经网络架构CLIP，使用改进的DBSCAN聚类算法揭示了共享解码概念（SDCs）。这些SDCs通过在多个参与者中解码CLIP空间中的共同体素聚类来实现。分析每个SDC相关的图像，研究者更好地理解其语义属性。这种方法结合多模态神经网络和新颖的聚类算法，更好地描述大脑中的视觉-语义表示。

本研究分析了多模态神经网络在单模态最坏情况下的鲁棒性，并提出了对抗性融合策略，能提高单源鲁棒性，并在多种多模态任务上表现良好。