DeepMMSearch-R1：赋能多模态大型语言模型在多模态网页搜索中的应用
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
DeepMMSearch-R1是一种多模态大型语言模型，支持按需多轮网页搜索，并能动态生成图像和文本查询。它通过相关图像片段启动搜索，并根据检索结果调整文本查询，从而提高搜索效率。该模型采用两阶段训练流程，并引入新的多模态VQA数据集，显示出在知识密集型基准测试中的优越性。
🎯
关键要点
- DeepMMSearch-R1是一种多模态大型语言模型，能够按需进行多轮网页搜索。
- 该模型可以动态生成图像和文本查询，提高搜索效率。
- 通过相关图像片段启动搜索，模型能够更有效地进行图像搜索。
- 文本查询会根据检索结果进行迭代调整，实现自我反思和自我修正。
- DeepMMSearch-R1采用两阶段训练流程，包括冷启动监督微调和在线强化学习优化。
- 引入了DeepMMSearchVQA，一个新的多模态VQA数据集，包含多样的多跳查询。
- 该数据集结合了文本和视觉信息，帮助模型学习搜索的时机、内容、工具及推理方式。
- 通过广泛的实验，展示了该方法在知识密集型基准测试中的优越性。
➡️
