搜索图片有新招了！北大提出图像检索新方法 | ECCV 2024
内容提要
北京大学和南洋理工大学的研究团队提出了一种新的通用风格检索任务，通过构建多样化的查询图片数据集和即插即用的框架，解决了传统检索模型无法兼容不同类型查询向量的问题。实验证明该框架能够显著增强现有检索模型的泛化能力，并提升模型的检索精度。
延伸解读
多风格检索的实用价值
传统图像检索主要依赖文本查询，方式单一。而FreestyleRet支持草图、艺术画、低分辨率图像和文本等多种查询风格，甚至支持组合查询。这意味着用户可以用更自然、更多样的方式找图，比如画个草图加文字描述，系统就能精准返回目标图像。这种灵活性更贴近真实场景中的检索需求。
即插即用的设计思路
FreestyleRet被设计为即插即用的框架，可以便捷地适配ALBEF、CLIP、BLIP等现有基础检索模型。它通过风格提取、风格空间构建和提示微调三个模块，在不改变原模型主体结构的情况下，为其注入多风格查询能力。这种设计降低了扩展成本，让已有模型快速获得通用检索能力。
风格与语义的分离
实验表明，使用FreestyleRet的模型能有效分离查询向量中的风格信息与语义信息，并在语义层面实现高维空间聚类。这意味着模型不是简单记住风格，而是理解不同风格背后的相同语义。这种分离能力是模型泛化到未知风格查询的关键，也是检索精度提升2-4%的重要原因。
数据集与评估的支撑
团队构建了专有数据集DSR，包含10,000张自然图片和四种检索风格，并采用ImageNet-X作为大规模粗粒度数据集。这些数据集覆盖了多种查询风格，为评估模型的泛化能力提供了基础。实验在多个数据集上验证了FreestyleRet的有效性，说明其性能提升并非局限于单一场景。
Q&A
什么是通用风格检索？
通用风格检索是一种新提出的检索任务，要求模型在面对多样化的查询条件时，依然能够精准找图。
FreestyleRet框架的主要功能是什么？
FreestyleRet框架通过提取图片风格并注入，解决了传统检索模型无法兼容不同类型查询向量的问题。
新方法如何提升检索精度？
新方法支持多样化查询风格，并在多个数据集上显著提升了检索模型的泛化能力，提升幅度为2-4%。
DSR数据集包含哪些内容？
DSR数据集包含10,000张自然图片及四种检索风格，包括文本、草图、低分辨率图像和卡通艺术。
FreestyleRet框架的三个模块是什么？
FreestyleRet框架包含风格提取模块、风格空间构建模块和风格启发的提示微调模块。
传统图片检索方法的主要问题是什么？
传统图片检索主要依赖文本查询，方法单一，性能一般，无法有效处理多样化的查询条件。
