向量数据库落地实践
💡
原文中文，约6400字，阅读约需16分钟。
📝
内容提要
本文介绍了京东内部向量数据库vearch的实践经验，包括文本转向量、向量维度、建表参数选择等。还介绍了分片数和副本数的评估方法，以及数据库中的数据记录和表结构。最后，指出向量数据库对大模型应用的重要性，并提出了一些优化方案。
🎯
关键要点
- Vearch是京东内部用于高性能相似搜索的弹性分布式向量数据库。
- 文本转向量通过大模型网关接口实现，使用特定模型进行转换。
- 向量维度与所用模型相关，具体细节可忽略。
- 建表参数选择主要依赖于检索模型，推荐使用HNSW。
- 分片数和副本数应根据实际数据量评估，初期可申请最少资源。
- 实行db-space一对一方案，简化库的概念，定义通用的space结构。
- 分段写入向量库的过程包括上传文件、拆分片段和写入数据库。
- 数据记录包括space记录表、file记录表和paragraph记录表，分别用于管理空间、文件和文档片段。
- 向量数据库对大模型应用至关重要，能够存储内部数据以提高检索能力。
- 未来将优化混合检索方案以提高检索准确率。
➡️
