本研究开发了多模态变压器和新框架，以提升时间序列预测性能。通过结合文本和时间序列数据，提出了Time-LLM和TGForecaster等模型，验证了其在少样本学习中的优势。同时，研究探讨了图像数据在预测中的应用，强调了上下文信息的重要性，推动了多模态预测的发展。

本文介绍了一种结合卷积神经网络和循环神经网络的遥感图像问答方法，通过自然语言提问从遥感数据中提取信息。研究提出了多种模型和数据集，提升了视觉问答的准确性和性能，展示了在遥感领域的应用潜力。

基于深度学习的计算病理学研究提出了互相引导的跨模态转换器（MGCT）和多模态变压器模型（PathOmics），旨在结合组织学和基因组特征，提高癌症患者预后的预测准确性。这些方法通过整合不同数据源，克服了异质性和复杂相互作用的挑战，实验结果显示其在多种癌症数据集上表现优越。

本文探讨了一种利用大型语言模型进行多元时间序列预测的新方法，提出了名为Modality-aware Transformer的多模态变压器，旨在解决多模态时间序列预测的挑战。研究表明，该方法在金融数据集上表现优于现有技术，并提供了时间序列分析的系统概述，探讨了未来的研究机会和挑战。

本文提出了一种多模态变压器模型PathOmics，将病理学与基因组学结合用于结直肠癌存活预测。通过无监督预训练捕捉图像与基因组数据的互动，研究结果显示该方法在TCGA结直肠癌队列中优于现有研究。研究还提出了多模态融合策略和跨模态转换框架，显著提高了生存分析的准确性。