本研究提出了一种框架，用于评估视觉语言模型（VLMs）在多步推理任务中的表现，发现图像到文本的转换对任务的泛化能力至关重要。

Pixtral 12B是由Mistral AI开发的一种视觉语言模型（VLM），具有4亿参数的视觉编码器和12.8万个令牌的上下文窗口，适用于图像到文本的流水线。该模型在图表分析、从图像生成代码和多图像推理等任务中表现良好。它在ArxivQA、VisIT Benchmark和Flickr30K等数据集上与GPT-4进行了基准测试，使用余弦相似度作为评估指标。Pixtral 12B在生成准确答案和推理复杂主题方面表现出色。它在实际的VLM任务和图像字幕中也表现良好，尽管在简洁性和客观性方面得分低于人类字幕。总体而言，Pixtral 12B是处理结构化视觉数据任务的有价值工具。

本研究将单流程扩散管线扩展为多任务多模态网络，通过多流程跨模式模块实现文本到图像、图像到文本等多流和变异处理的统一。该框架性能优越，可启发通用人工智能研究。