本文介绍了 Vision MoE，一种稀疏的 Vision Transformer，具备优异的图像识别性能和较低的计算需求。通过优化路由算法和训练153亿参数的模型，V-MoE 实现了高效的视觉建模。此外，研究探讨了多头专家混合模型和稀疏门控专家组技术在视觉语言模型中的应用，提升了训练效率和模型性能。