多模态大型语言模型在预测语言处理中体现人类式的视觉 - 语言整合的证据

本文介绍了LIUM和CVC为WMT16多模态机器翻译挑战开发的系统，使用了单模态和多模态数据，探索了不同的比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。他们进行了人类评估，评估了多模态数据在人机翻译和图像描述生成中的实用性。根据自动评估指标BLEU和METEOR，他们的系统在这两个任务中取得了最佳结果。