该研究提出了一种新方法，结合稳定扩散的想象网络和增强学习，有效利用视觉信息，显著提升多模态翻译效果。

本文提出了一种新型多模态机器翻译方法，结合机器翻译与视觉信息，发布了CoMMuTE数据集，显著提升了翻译性能。研究表明，在视觉上下文下，多模态翻译优于传统文本翻译，强调了合适数据集的重要性，并提出了一种无监督神经机器翻译方法，通过图像识别增强翻译效果。

该文综述多模态大语言模型研究，将模态对齐方法分为多模态转换器、感知器、工具辅助和数据驱动四类，指出不当对齐需更多参数且性能提升有限；并介绍多模态自动摘要、Semantic Reader阅读界面、多语种学术摘要数据集、WMT16多模态翻译系统、非语言模态转文本的情感分析、LayoutXLM银行文档分析及自动生成综述论文等方法。