本研究开发了多模态变压器和新框架，以提升时间序列预测性能。通过结合文本和时间序列数据，提出了Time-LLM和TGForecaster等模型，验证了其在少样本学习中的优势。同时，研究探讨了图像数据在预测中的应用，强调了上下文信息的重要性，推动了多模态预测的发展。

本文介绍了一种结合卷积神经网络和循环神经网络的遥感图像问答方法，通过自然语言提问从遥感数据中提取信息。研究提出了多种模型和数据集，提升了视觉问答的准确性和性能，展示了在遥感领域的应用潜力。

基于深度学习的计算病理学研究提出了互相引导的跨模态转换器（MGCT）和多模态变压器模型（PathOmics），旨在结合组织学和基因组特征，提高癌症患者预后的预测准确性。这些方法通过整合不同数据源，克服了异质性和复杂相互作用的挑战，实验结果显示其在多种癌症数据集上表现优越。