量子位
·
开源版SearchGPT来了，两张3090就可复现，超越Perplexity付费版
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
开源的视觉搜索助手（VSA）模型已发布，使用两张RTX3090即可复现。VSA结合视觉语言模型，实时更新知识，提升图像处理能力，超越Perplexity付费版，适用于多模态研究，在开放集问答中表现卓越。
🎯
关键要点
- 开源的视觉搜索助手（VSA）模型已发布，使用两张RTX3090即可复现。
- VSA结合视觉语言模型（VLM），实时更新知识，提升图像处理能力。
- VSA在开放集问答中表现卓越，超越Perplexity付费版。
- VSA能够处理未见过的图像和新概念，模拟人类搜索过程。
- 视觉内容描述模块提取图像中对象级的描述和对象之间的相关性。
- Web知识搜索的核心是名为“搜索链”的迭代算法，利用LLM生成相关子问题。
- 实验结果显示，VSA在开放集问答中表现优于Qwen2-VL-72B和InternVL2-76B。
- 在开放集问答评估中，VSA在真实性、相关性和支持性三个维度上均表现出色。
- VSA在闭集评估中也表现优异，整体性能为84.9%。
❓
延伸问答
Vision Search Assistant（VSA）是什么？
Vision Search Assistant（VSA）是一种开源的视觉搜索助手模型，结合了视觉语言模型（VLM），能够实时更新知识并提升图像处理能力。
使用VSA需要什么硬件？
使用VSA只需两张RTX3090显卡即可复现该模型。
VSA在开放集问答中的表现如何？
VSA在开放集问答中表现卓越，优于Perplexity付费版，并在真实性、相关性和支持性三个维度上均表现出色。
VSA如何处理未见过的图像和新概念？
VSA能够理解查询，关注图像中的对象，推断对象之间的相关性，并生成相关的查询文本来回答关于未见过的图像和新概念的问题。
VSA的搜索链算法有什么特点？
VSA的搜索链算法是一个迭代过程，通过生成相关子问题并利用LLM分析搜索引擎返回的内容，从而获取与视觉内容相关的Web知识。
VSA在闭集评估中的表现如何？
在闭集评估中，VSA的整体性能为84.9%，在对话、细节和推理任务中均表现出色。
➡️
