基于大语言模型知识问答应用落地实践 – 知识库构建（下）

本文介绍了构建知识库的流程和优化经验，以及在PubMed医学数据中的具体场景。讨论了OpenSearch集群规模设计、知识库索引设计和实验步骤细节。给出了合适的OpenSearch资源配置和索引1万篇文档所需的存储量和内存用量。针对知识问答Chatbot场景，建议使用10-30GB的shard大小和8个shard。采用HNSW算法进行向量检索，并给出了内存规划方案。对索引构建实验和OpenSearch摄入测试进行了详细讨论，总结了索引构建经验和检索性能调优方法。提供了相关代码和参考文献。