量子位
·
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
字节与南洋理工大学的研究通过强化学习优化了多模态模型的搜索策略，实现按需搜索，减少了30%的搜索次数并提高了准确性。MMSearch-R1系统在视觉问答任务中表现出色，增强了模型自主获取信息的能力，为多模态智能体的发展奠定了基础。
🎯
关键要点
- 字节与南洋理工大学的研究通过强化学习优化了多模态模型的搜索策略。
- MMSearch-R1系统实现按需搜索，减少了30%的搜索次数并提高了准确性。
- 模型能够自主判断搜索时机、内容并处理搜索结果，适用于真实互联网环境。
- 研究针对多模态模型的自主、精准外部信息获取能力进行了探索。
- MMSearch-R1集成图像搜索和文本搜索工具，满足视觉问答任务需求。
- 采用GRPO算法进行多轮搜索强化学习训练，提升模型性能。
- 构建了FactualVQA数据集，确保覆盖多样化视觉概念和问答场景。
- 实验结果显示，MMSearch-R1-7B在知识密集型任务中表现优异，准确率高于传统模型。
- 强化学习展现出比监督微调更大的潜力，提升了模型的搜索和推理能力。
- 该研究为开发具备现实世界交互能力的多模态大模型提供了重要洞见。
❓
延伸问答
MMSearch-R1系统的主要创新点是什么？
MMSearch-R1系统通过强化学习优化了多模态模型的搜索策略，实现按需搜索，减少了30%的搜索次数并提高了准确性。
MMSearch-R1如何提升模型的搜索能力？
MMSearch-R1采用GRPO算法进行多轮搜索强化学习训练，使模型能够自主判断搜索时机和内容，并有效处理搜索结果。
FactualVQA数据集的构建目的是什么？
FactualVQA数据集旨在有效训练模型实现智能化的按需搜索能力，确保覆盖多样化的视觉概念和问答场景。
MMSearch-R1在视觉问答任务中的表现如何？
在知识密集型视觉问答任务中，MMSearch-R1-7B的准确率比同等规模模型的传统RAG基线高出约3%，且搜索比率降低了32.9%。
该研究如何解决多模态模型的知识获取局限性？
研究通过集成网络搜索工具，使多模态模型具备自主、精准的外部信息获取能力，从而克服知识获取的局限性。
强化学习在该研究中的作用是什么？
强化学习展现出比监督微调更大的潜力，提升了模型的搜索和推理能力，使其在知识密集型任务中表现优异。
➡️
