为什么你的RAG系统好坏取决于其翻译模型
内容提要
RAG系统效果取决于嵌入模型质量，而非仅靠语言模型。嵌入模型负责检索相关文档，但语义相似不等于答案正确，可能因数字、否定或版本差异出错。更换嵌入模型需重新嵌入全部文档，成本高。Matryoshka嵌入可灵活控制向量维度，但跨模型不兼容。选择嵌入模型需测试领域适配性，并考虑存储、速度与迁移成本。
延伸解读
嵌入模型是RAG的“守门员”
RAG系统先检索后生成，嵌入模型决定了哪些文档片段能进入语言模型的上下文。即使语言模型再强大，如果嵌入模型未能检索到包含正确答案的文档，系统仍可能给出错误或编造的答案。因此，嵌入模型的检索质量是整个RAG系统效果的基石。
语义相似不等于答案正确
嵌入模型基于语义相似度检索，但相关文档未必能回答问题。例如，查询“退款到账时间”可能检索到“购买后30天内可退款”的片段，但该片段并未说明到账时长。此外，否定句、数字差异、版本新旧等问题都可能导致检索结果不准确，需要额外的过滤或重排机制。
更换嵌入模型代价高昂
不同嵌入模型生成的向量空间不兼容，更换模型意味着必须重新嵌入全部文档，并重建索引。迁移过程涉及API费用、GPU时间、存储和测试成本，且新模型可能在特定领域表现不佳。因此，选择嵌入模型时应充分测试领域适配性，并考虑长期维护的便利性。
Matryoshka嵌入的灵活性与局限
Matryoshka嵌入允许在同一模型内使用不同维度的向量，例如存储256维用于快速检索，保留完整向量用于精确重排，从而在存储成本和检索精度间取得平衡。但该技术不能解决跨模型不兼容问题，更换模型仍需完整重新嵌入。
Q&A
为什么RAG系统的效果取决于嵌入模型？
RAG系统先检索后生成，嵌入模型负责将文本转换为向量并检索相关文档。如果嵌入模型不能准确找到包含答案的文档，即使语言模型再强大，也无法给出正确回答。因此，嵌入模型是RAG系统中最关键的部分。
嵌入模型如何实现按语义搜索？
嵌入模型将文本转换为向量，并训练使得语义相近的文本在向量空间中距离更近。这样，即使查询和文档用词不同，也能通过向量相似度（如余弦相似度）找到相关文档。
为什么语义相似的信息不一定是正确答案？
因为嵌入模型只衡量语义相似性，但RAG需要的是能直接回答问题的信息。例如，查询退款时长，检索到的文档可能只说明退款资格，而不涉及时长。此外，否定、数字差异、版本冲突等也会导致检索结果不准确。
为什么更好的语言模型不能弥补检索质量差的问题？
语言模型只能基于检索到的文档生成答案，如果相关文档未被检索到，语言模型无法凭空知道缺失信息。它可能基于训练知识猜测或编造，导致错误答案。因此，必须确保检索质量，而不是依赖语言模型。
选择嵌入模型时应该考虑哪些因素？
主要考虑检索性能，包括领域词汇理解、多语言支持、向量维度、最大输入长度、模型速度、部署要求等。需要针对具体领域进行测试，确保模型能准确连接查询和文档。
更换嵌入模型为什么成本高？
因为不同嵌入模型生成的向量空间不兼容，更换模型需要重新嵌入整个文档库，并重建索引，涉及计算成本、存储、测试和迁移风险。此外，新模型可能改变检索排名，需要验证效果。
Matryoshka嵌入有什么优势？
Matryoshka嵌入允许从同一模型生成不同维度的向量，例如只保留前256维用于快速搜索，或存储完整向量以便未来扩展。这提供了存储和检索速度的灵活性，但跨模型仍不兼容。
