本文介绍了MMCode数据集，旨在评估多模态模型在视觉环境中解决编程问题的能力。数据集包含3548个问题和6620张图片，来源于10个代码竞赛网站。实验表明现有模型在解决这些问题时存在困难，强调了对强大视觉-代码模型的需求。同时，研究评估了大型语言模型在语言到代码生成方面的能力，揭示了其局限性和未来研究方向。