向量数据库落地实践
内容提要
本文介绍了京东内部向量数据库vearch的实践经验，包括文本转向量、向量维度、建表参数选择等。还介绍了分片数和副本数的评估方法，以及数据库中的数据记录和表结构。最后，指出向量数据库对大模型应用的重要性，并提出了一些优化方案。
延伸解读
建表参数与索引选择
文章推荐使用HNSW作为检索模型，并给出了关键参数：metric_type选择InnerProduct或L2，nlinks默认32，efConstruction默认40。同时指出向量存储仅支持MemoryOnly，创建索引无需训练，index_size大于0即可。这些参数直接影响检索性能与资源消耗，需根据实际场景调整。
分片与副本的评估策略
分片数和副本数应结合实际数据量评估。若无法预估，文章建议按最少资源申请，后续可扩展。这降低了初期资源浪费的风险，但也意味着需要关注后续扩容的便利性。实际部署时需权衡资源成本与扩展灵活性。
数据记录表的设计与作用
文章详细介绍了三张MySQL表：space记录表用于管理空间，file记录表记录文件并关联片段，paragraph记录表记录片段位置和命中数。这些表不仅用于元数据管理，还支持查询管控、分页和全文导出，弥补了vearch本身不支持分页的不足。
向量数据库对大模型应用的价值
向量数据库能存储不可外露的内部数据，供大模型检索使用，从而提升推理回答的精准度。文章指出，随着向量库数据丰富，大模型能力将更强。未来计划优化混合检索方案，以进一步提高检索准确率，这值得关注。
Q&A
Vearch是什么？
Vearch是京东内部用于高性能相似搜索的弹性分布式向量数据库。
如何将文本转换为向量？
文本转向量通过大模型网关接口实现，传入对应的模型和待转换的文本即可。
建表时应该选择哪些参数？
建表参数选择主要依赖于检索模型，推荐使用HNSW，并根据具体需求配置相关参数。
如何评估分片数和副本数？
分片数和副本数应根据实际数据量评估，初期可申请最少资源，后续可扩展。
向量数据库对大模型应用有什么重要性？
向量数据库对大模型应用至关重要，能够存储内部数据以提高检索能力。
未来向量数据库的优化方向是什么？
未来将优化混合检索方案以提高检索准确率。
