💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
尽管DeepSeek-R1在单模态推理中表现出色，但在多模态应用中未能完全复现其特征。研究者提出了MM-Eureka模型，成功实现了回答长度的稳定增长和准确率的提升，并且数据效率高。经过54K图文数据的训练，MM-Eureka在多模态数学推理基准上超越了其他模型，展示了强化学习的潜力。
🎯
关键要点
- DeepSeek-R1在单模态推理中表现出色，但多模态应用未能完全复现其特征。
- 研究者提出MM-Eureka模型，实现回答长度稳定增长和准确率提升，数据效率高。
- MM-Eureka在54K图文数据训练后，超越其他多模态数学推理模型，展示强化学习潜力。
- 已有多模态模型（如R1-V、R1-Multimodal-Journey、LMM-R1）未能复现DeepSeek-R1的核心特性。
- MM-Eureka模型基于OpenRLHF开发，支持多种模型和强化学习算法。
- 开发了MM-Eureka-8B和MM-Eureka-Zero-38B模型，成功复现稳定的准确率奖励和回答长度增长。
- 仅使用54K图文数据进行训练，性能超过使用1M数据的MPO模型。
- 数据选择对稳定的强化学习训练至关重要，基于难度的数据过滤策略有效提升训练稳定性。
- 模型在强化学习训练中展现出类似DeepSeek-R1的aha-moment，能够重新审视图像中的关键信息。
- 在Instruct和Pretrained模型上均实现了稳定的准确率和回答长度提升，数据高效性显著。
- 尝试的课程学习未观察到明显性能提升，需进一步探索如何有效组织课程学习数据。
- 在线数据过滤策略在动态筛选中表现不如离线数据过滤稳定，需改进。
- 在多模态推理场景下，8B的InternVL预训练模型难以成功复现，受限于数据质量。
- 开源全套数据、代码和模型，发布详细技术报告，期望推动多模态推理的发展。
❓
延伸问答
MM-Eureka模型的主要优势是什么？
MM-Eureka模型在多模态推理中实现了回答长度的稳定增长和准确率的提升，且数据效率高，仅使用54K图文数据训练。
MM-Eureka是如何超越其他多模态模型的？
经过54K图文数据的训练，MM-Eureka在多模态数学推理基准上超越了其他模型，展示了强化学习的潜力。
数据选择在MM-Eureka模型训练中有什么重要性？
数据选择对稳定的强化学习训练至关重要，基于难度的数据过滤策略有效提升训练稳定性。
MM-Eureka模型的开发基础是什么？
MM-Eureka模型基于OpenRLHF开发，支持多种模型和强化学习算法。
MM-Eureka在使用数据量上有什么特别之处？
MM-Eureka仅使用54K图文数据进行训练，性能超过使用1M数据的MPO模型，显示出极高的数据效率。
MM-Eureka模型的训练过程中有哪些发现？
在训练过程中发现，极简的强化学习设计足以获得出色效果，且数据过滤策略对训练稳定性至关重要。
🏷️
标签
➡️
