基于大语言模型知识问答应用落地实践 – 知识库构建(上)
内容提要
本文介绍大语言模型结合知识召回构建私域知识库的实践,核心流程为:文档经S3触发Lambda启动Glue任务,完成解析拆分并调用SageMaker向量化,再批量写入OpenSearch,并总结了文档切分、向量模型选择、并发推理及OpenSearch调优等最佳实践。
延伸解读
文档切分:语义完整性的关键
文章强调知识拆分需保持语义完整性。Langchain的RecursiveCharacterTextSplitter按多级分隔符拆分,但可能拆开关键内容。针对不同格式,FAQ应按一问一答拆分,Markdown用MarkdownHeaderTextSplitter保留标题对应,PDF用PDFMinerPDFasHTMLLoader效果更好。这些方法旨在减少信息碎片化,提升后续向量化质量。
向量模型选择:长度与效果权衡
向量化模型有Max_seq_length限制,超出会导致截断。基于Bert的模型适合句或短段落,OpenAI的text-embedding-ada-002适合长文本但无法私有化部署。文章指出text-embedding-ada-002对中文相似性打分区分度不够,不利于阈值判断。选择时需考虑是否微调、对称与非对称召回场景,以及向量维度对检索性能和成本的影响。
并发推理与写入优化策略
离线构建需高并发处理。使用Amazon Glue Python shell按文件粒度并发,注意默认并发上限200。向量化推理采用SageMaker Endpoint,GPU实例比CPU吞吐量高约20倍,可部署多节点Endpoint应对突发流量,但需注意Auto Scaling冷启动可能导致前期请求错误。客户端批处理比服务端批处理更适合向量化推理。OpenSearch写入使用bulk批量操作提升效率。
OpenSearch调优:算法与内存管理
OpenSearch提供HNSW和IVF两种k-NN算法。内存充足时优先HNSW,兼顾延迟和召回;内存受限可考虑IVF或添加PQ编码,但可能降低准确率。集群规模可根据公式估算内存。摄入大量数据时,可临时关闭refresh_interval和replica,调整knn.algo_param.index_thread_qty增加索引线程,并提高knn.memory.circuit_breaker.limit至70%以提升缓存命中率。
Q&A
大语言模型结合知识召回构建私域知识库的基本流程是什么?
基本流程是:通过S3 Bucket的Handler实时触发Amazon Lambda启动对应的Amazon Glue job;Glue Job中进行文档解析和拆分,并调用Amazon SageMaker的Embedding模型进行向量化;最后通过Bulk方式注入到Amazon OpenSearch中。
在知识库构建中,文档拆分有哪些常用的方法和注意事项?
文档拆分需保持语义完整性。常用方法包括:使用Langchain的RecursiveCharacterTextSplitter按多级分隔字符拆分;FAQ文件按一问一答粒度拆分;Markdown文件使用MarkdownHeaderTextSplitter;PDF文件使用PDFMinerPDFasHTMLLoader效果更好。同时需考虑向量化模型的Max_seq_length限制,避免截断。
如何选择向量化模型?有哪些实践经验?
选择向量化模型时需考虑Max_seq_length限制。基于Bert的模型适合句或短段落,OpenAI的text-embedding-ada-002适合长文本但无法私有化部署。经验表明:经过垂直领域Finetune的模型有明显优势;FAQ建议用对称召回,文档片段用非对称召回;无显著效果差异时选择低维向量以减少检索压力和成本。
在离线向量知识库构建中,如何提高向量化推理的吞吐量?
可以采用以下策略:使用GPU实例部署(比CPU吞吐量提升约20倍);部署多节点Endpoint处理临时大并发;利用Client-Side Batch推理,无需开启Server-Side Batch。
OpenSearch中k-NN算法如何选择?内存如何估算?
OpenSearch提供HNSW和IVF两种k-NN算法。内存非限制时优先选HNSW,可保证latency和recall;需控制内存时可选IVF;内存限制大时可加PQ编码但会降低准确率。以HNSW为例,内存估算公式:占用内存 = 1.1 * (4d + 8m) * num_vectors * (number_of_replicas + 1),其中d为向量维度,m为连接数。
向OpenSearch批量注入向量数据时,有哪些性能优化措施?
优化措施包括:摄入阶段关闭refresh_interval(设为-1),结束后恢复;暂时禁用replica(设为0)以提升摄入速度,结束后重新启用;增加indexing线程(调整knn.algo_param.index_thread_qty,建议设为vcore的一半);提高knn内存占比(调整knn.memory.circuit_breaker.limit至70%)。