什么是HyDE？如何利用假设性文档改进RAG
内容提要
RAG通过外部知识库检索辅助大语言模型回答，但用户提问与文档表述差异大时，直接嵌入查询效果不佳。HyDE技术先用LLM生成假设性文档，再嵌入该文档而非原始查询进行检索，使向量比较从“问题对答案”变为“答案对答案”，提升检索质量。文章还介绍了HyDE的实现、防幻觉机制及生产环境中的超时、PII保护等保障措施。
延伸解读
核心机制：从“问题对答案”到“答案对答案”
HyDE的关键在于改变向量比较的几何形状。传统RAG直接嵌入用户问题，与文档向量比较，但问题与文档的表述差异大时，相似度信号弱。HyDE先用LLM生成一段假设性文档，再嵌入该文档进行检索，使比较双方都是文档形态，从而提升检索质量。这一机制不改变索引或嵌入模型，只改变查询时嵌入的对象。
幻觉为何不致命：形状比事实更重要
HyDE生成的假设性文档可能包含错误细节，但这不影响检索效果。因为嵌入模型捕捉的是文本的语义形状，而非事实准确性。例如，关于数据库故障的假设文档即使虚构了具体原因，但其中包含的“故障转移”“副本”“连接池”等词汇，仍能将向量引导至真实事故报告所在的区域。关键在于将假设文档严格限制在检索阶段，绝不能将其作为证据传给生成器。
生产环境注意事项：超时、PII与追踪
在生产中应用HyDE需注意：设置超时和回退机制，若假设生成失败则退回原始查询；限制生成长度（如200 tokens），避免引入无关概念；在发送给外部模型前清洗PII数据；并记录查询、假设文档、延迟、检索ID等日志，以便调试和监控。这些措施能提升系统的可靠性和安全性。
适用场景与局限
HyDE并非万能。它适用于嵌入模型对领域理解不足、缺乏标注数据、用户提问口语化而文档正式等场景。但在严格延迟要求、查询已含强关键词或错误码、或已有BM25等有效检索时，应避免使用。HyDE以额外LLM调用换取召回率提升，仅在查询-文档不对称成为瓶颈时才有价值。
Q&A
什么是HyDE？
HyDE（Hypothetical Document Embeddings）是一种改进RAG检索的技术。在查询时，先用LLM生成一个假设性文档（即可能包含答案的文档），然后对该文档进行嵌入，用这个嵌入向量去检索向量数据库，而不是直接嵌入原始查询。这样做的目的是让向量比较从“问题对答案”变为“答案对答案”，从而提高检索质量。
HyDE为什么能提升RAG的检索效果？
HyDE能提升检索效果的原因是几何上的。嵌入模型将文本映射到语义空间，相似度由向量夹角决定。直接嵌入查询与文档比较时，问题与答案的文本形状不同，嵌入模型并未训练成将问题与答案靠近。HyDE通过生成假设性文档，使比较双方都是文档形式，从而在向量空间中更接近，检索信号更清晰。
HyDE中假设性文档的幻觉问题如何解决？
HyDE中的幻觉问题通过架构设计来解决。假设性文档仅用于生成检索向量，不会直接呈现给用户或传递给生成器。即使文档内容包含错误细节，其词汇和结构仍能引导向量到真实文档所在的区域。关键是确保假设性文档不泄漏到生成阶段，只作为检索的桥梁。
HyDE在生产环境中需要哪些保障措施？
生产环境中HyDE的保障措施包括：1）设置超时和回退机制，如果假设性文档生成失败或超时，则回退到原始查询嵌入；2）限制生成长度，通常200个token足够，避免引入无关概念；3）在发送到外部模型前进行PII（个人身份信息）脱敏；4）对每个阶段进行追踪记录，包括查询、提示、假设性文档、延迟、检索到的ID和相似度分数，以便调试和监控。
HyDE适用于哪些场景？
HyDE适用于以下场景：当嵌入模型对领域理解不足时；没有标注的查询-文档对来微调检索器时；用户提问口语化而文档正式或技术性强时；以及可以接受额外一次LLM调用时。
HyDE不适用于哪些场景？
HyDE不适用于以下场景：应用对延迟要求严格时；通用LLM可能生成错误的领域术语时；查询已经包含强关键词、标识符或错误代码时；BM25或混合搜索已经能检索到相关结果时；以及有足够标注数据可以直接微调检索器时。
HyDE与朴素RAG的主要区别是什么？
HyDE与朴素RAG的主要区别在于检索时嵌入的对象不同。朴素RAG直接嵌入用户查询，而HyDE先用LLM生成一个假设性文档，然后嵌入该文档。其余流程（如向量搜索、top-k选择、生成答案）完全相同。HyDE通过改变嵌入对象的文本形状，使检索更有效。
