基于大语言模型知识问答应用落地实践 – 知识库构建（下）
原文中文，约8900字，阅读约需22分钟。发表于：。介绍了构建知识库的大体流程和一些优化经验细节，但并没有结合一个具体的场景给出更细节的实战经验以及相关的一些 benchmark 等，所以本文将会切入到一个具体场景进行讨论。目标场景：对于 Pub...
本文介绍了构建知识库的流程和优化经验，以及在PubMed医学数据中的具体场景。讨论了OpenSearch集群规模设计、知识库索引设计和实验步骤细节。给出了合适的OpenSearch资源配置和索引1万篇文档所需的存储量和内存用量。针对知识问答Chatbot场景，建议使用10-30GB的shard大小和8个shard。采用HNSW算法进行向量检索，并给出了内存规划方案。对索引构建实验和OpenSearch摄入测试进行了详细讨论，总结了索引构建经验和检索性能调优方法。提供了相关代码和参考文献。
