该论文提出了一种新型多模态机器翻译方法，结合机器翻译与视觉信息，并发布了 CoMMuTE 数据集，显著提升了翻译性能。研究表明，视觉内容的利用能够改善翻译质量，并探讨了多模态翻译模型在不同数据集上的表现。

本文提出了多种新方法和数据集，以提高多模态机器翻译的质量，解决数据不足的问题。研究表明，基于数据扩充的语音翻译方法M^3ST在MuST-C基准上表现优异，BLEU得分达到29.9。此外，Tri-Modal Translation模型在语音、图像和文本之间的翻译中表现出色，显示出统一任务的实用性和性能优势。

本研究提出了多种自适应融合网络和动态融合方法，显著提升了多模态机器翻译和情感识别的效果。通过特征融合策略和多模态模型，改善了情感分析和图像描述的质量，验证了多模态融合在分类准确性和模型鲁棒性方面的优势。

本文提出了一种新型多模态机器翻译框架，利用视觉上下文和对象掩模技术提升翻译效果。研究表明，该模型在多个数据集上优于现有方法，强调视觉信息在翻译中的重要性，并探讨多语言共享语义空间的构建。

该文综述多模态对话系统研究，涵盖基于知识库的对话模型、ChatSpot交互模型、视觉聊天数据集GVC与Grounding-Bench基准、BuboGPT、Kosmos-2、参考游戏对话模型、ChatGPT评估框架、MMBench基准、MUG交互任务及多模态机器翻译，推动多模态理解与交互发展。

本文汇总了多模态语言模型的研究进展：BuboGPT结合视觉定位与文本-图像-音频理解，通过SAM和两阶段训练实现实体识别与目标定位；视觉基础有助于跨语言语义相似性理解，但对抽象词汇优势有限；LENS框架验证了大规模预训练模型对多模态对话系统的有效性；视觉注意力锚定模型在多模态机器翻译及多语言购物数据集上表现优异；多任务学习可改进多模态翻译；预训练纯文本模型可迁移至视觉领域；语言引导图表示与跨模态图匹配优于现有视觉定位方法；GroundedBERT融合BERT与视觉信息，突破了语言模型处理视觉语境的限制。

本文介绍了LIUM和CVC为WMT16多模态机器翻译挑战开发的系统，使用了单模态和多模态数据，探索了不同的比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。他们进行了人类评估，评估了多模态数据在人机翻译和图像描述生成中的实用性。根据自动评估指标BLEU和METEOR，他们的系统在这两个任务中取得了最佳结果。