本研究提出了一种新框架，通过结合文本和视觉模态，从视频数据集中生成自然语言描述。该框架利用ResNet50提取视频帧特征，并通过基于GPT-2的模型生成高质量、可解释的描述，具有重要的实际应用价值。

本文研究了多模式机器翻译（MMT）中视觉模态的贡献，提出通过视觉信息提升翻译质量的方法。介绍了Volta系统和VTNet等新技术，展示了它们在多模态翻译任务中的优越表现，并探讨了多模式大型语言模型（MLLMs）的架构和训练技术及其在视觉理解任务中的应用，为未来研究奠定基础。

本研究介绍了一种新的多模式话题建模方法：extsf {PromptMTopic}，利用大型语言模型的语言建模能力从文本和视觉模态中学习话题。实验证实了该模型在学习描述性迷因话题方面的优越性，并能识别出有意义的、与文化相关的迷因话题。