使用多模态深度神经网络预测人脑多模态整合位置，发现多个整合多模态信息的神经位点。CLIP风格的训练最适合预测这些位点的神经活动。

研究人员提出了一种新的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告。实验证明，使用附加模态可以显著改善结果，但需要更多改进。