非自回归序列到序列视觉语言模型
内容提要
该文综述非自回归序列生成研究，通过离散潜变量、CTC、CRF及分块并行解码提升解码速度，在机器翻译和图像字幕任务中比自回归快数倍至一个数量级，质量接近或略低；并提出视觉句子建模，无需语言数据即可训练大规模视觉模型。
延伸解读
非自回归生成的核心权衡
非自回归模型通过并行解码大幅提升速度，但常以牺牲生成质量为代价。文章指出，在机器翻译任务中，其解码速度可比自回归模型快一个数量级，但BLEU得分通常较低。这种速度与质量的权衡是实际应用中的关键考量，读者需根据场景需求选择合适模型。
提升质量的技术路径
为缩小与非自回归模型的质量差距，研究者探索了多种方法：使用离散潜变量增强并行化解码能力；引入CRF近似算法建模动态转换以提高翻译一致性；基于CTC的结构实现端到端训练；以及分块并行解码方案。这些技术在不显著牺牲速度的前提下，逐步提升了生成质量。
视觉句子建模的跨模态意义
文章提出一种无需语言数据即可训练大规模视觉模型的方法，通过将原始图像、视频及注解数据转化为“视觉句子”的公共格式，统一表示多种视觉数据。这降低了模型对语言数据的依赖，为通用视觉模型的可持续性和可访问性提供了新思路，有望推动跨模态任务的发展。
Q&A
非自回归序列到序列模型主要解决了什么问题？
非自回归序列到序列模型主要解决自回归模型解码速度慢的问题，通过并行化解码来提升推理速度。
非自回归模型在机器翻译任务中的解码速度能提升多少？
在神经机器翻译任务中，非自回归模型的解码速度比自回归模型快一个数量级，例如LaNMT在ASPEC Ja-En数据集上快8.6倍，在WMT'14 En-De数据集上快12.5倍。
非自回归模型在图像字幕生成任务中表现如何？
非自回归模型在图像字幕生成任务中也能显著加快解码速度，并保持与自回归形式相当的生成质量。
非自回归模型有哪些主要技术方法？
主要技术方法包括离散潜变量、CTC（连接时序分类）、CRF（条件随机场）以及分块并行解码等。
非自回归模型相比自回归模型在翻译质量上有什么差距？
非自回归模型的BLEU得分通常低于纯自回归模型，但通过改进方法（如潜变量模型、CTC结合波束搜索等）可以缩小差距，甚至达到可比质量。
什么是视觉句子建模？
视觉句子建模是一种无需语言数据即可训练大规模视觉模型的方法，通过将原始图像、视频及注解数据源转化为“视觉句子”的公共格式，表示各种视觉数据并训练模型解决多个视觉任务。
