大语言模型回答企业私有文档问题需依赖检索增强生成（RAG）：先将文档切分为保留完整语义的块，用嵌入模型转为向量，通过余弦相似度等度量检索；数据量大时采用IVF或HNSW近似搜索，在速度与召回间权衡；还需元数据过滤确保政策版本正确，并配合重排序与混合搜索以找到有效证据。