密集训练，稀疏推断：重思混合专家语言模型的训练

BriefGPT - AI 论文速递 · 2024-04-08T00:00:00Z

本文介绍了一种针对大型视觉语言模型的训练策略MoE-tuning，通过构建一个具有巨大数量参数但恒定计算成本的稀疏模型，有效解决多模态学习和模型稀疏性带来的性能退化问题。实验证明，MoE-LLaVA在视觉理解方面具有出色的能力，并且在模型输出的对象幻象基准测试中超越了LLaVA-1.5-13B，在各种视觉理解数据集上表现可与LLaVA-1.5-7B相媲美。通过MoE-LLaVA，我们旨在为稀疏LVLMs建立基准，并为未来开发更高效和有效的多模态学习系统提供有价值的见解。