向量搜索的复杂性：来自图像搜索和RAG项目的见解 - Noé Achache | 向量空间讲座
内容提要
本文讨论了向量搜索在图像搜索和文档检索中的应用，重点介绍了Dino V2模型在图像表示中的有效性。Noé Achache分享了在房地产广告去重和医疗文档检索中的经验，强调了数据安全和模型调优的重要性，并指出未来需要新型模型以满足行业需求，提出了多模态训练的潜力。
延伸解读
图像搜索中Dino V2的免调优优势与局限
Noé Achache指出，Dino V2在图像表示上超越传统特征变换方法，且无需微调即可理解物体和模式，这能快速启动项目并带来价值。然而，模型对大幅形变（如行走中裤子的形状变化）不够鲁棒，且浴室、空房间等场景容易产生高相似度误判。因此，在图像搜索中，若追求更高精度，仍需通过标注困难样本进行微调，目前尚无其他替代方案。
向量数据库部署与成本的实际考量
在房地产广告去重项目中，团队使用Qdrant并利用元数据过滤和索引，将1500万向量的搜索从20-30秒降至瞬间完成，同时通过量化将月成本控制在275美元。相比之下，早期Milvus的本地部署因多Pod交互复杂、文档不全而让DevOps团队耗费大量时间。Noé建议，除非有安全要求，否则托管部署通常比自付开发成本更经济。
RAG在敏感领域的应用策略与挑战
医疗文档检索中，团队仅处理公开文档以避免PII，并通过Azure上的Ada模型保障数据安全。为减少幻觉，系统优先展示检索到的HTML原文而非LLM答案，将产品重心放在文档检索上。此外，分块不当、标题页干扰、关键词检索缺失等问题仍需解决，可借助稀疏向量实现混合搜索，或采用针对问题和文档分别训练的模型来改善。
Q&A
Dino V2模型在图像表示中有什么优势？
Dino V2模型在图像表示中表现出色，能够理解对象和模式，而无需进行细调，超越了传统特征转换方法。
在房地产广告去重中，向量搜索如何提高效率？
向量搜索通过图像匹配简化复杂规则，提高了房地产广告去重的效率，避免了繁琐的手动规则。
医疗文档检索面临哪些挑战？
医疗文档检索面临数据安全和处理敏感信息的挑战，强调了保护机密医疗数据的重要性。
未来向量搜索模型的发展方向是什么？
未来需要新型模型以满足行业需求，特别是在多模态训练方面，以便更好地结合文本和图像输入。
多语言嵌入模型在文档检索中有什么作用？
多语言嵌入模型可以提高文档检索的效果，使得用户能够在不同语言之间进行有效的搜索。
向量数据库的部署过程中遇到了哪些问题？
在向量数据库的部署过程中，DevOps团队面临了文档不完善和系统不稳定等问题，导致客户损失了时间和金钱。
