如何通过向量数据库增强您的语义搜索能力
内容提要
Malt通过实施检索-排序架构，利用Qdrant数据库显著提升了自由职业者与项目的匹配效率。Nicolas Mauti介绍了如何通过多语言变换器模型优化语义搜索，将应用延迟从10秒减少到1秒，提升了平台的性能和可扩展性。Qdrant因其高性能和准确的地理空间过滤能力而被选用。
延伸解读
检索-排序架构如何解决性能瓶颈
Malt的匹配应用原本将每个自由职业者与项目配对后送入模型计算相关性，导致延迟高达10秒。改为检索-排序架构后，先用向量数据库快速筛选出候选子集，再对固定数量的候选进行精细排序。这种分工让检索阶段专注于召回，排序阶段专注于精度，从而将延迟降至约1秒，并支持同步匹配场景。
地理空间过滤成为数据库选型关键
Malt采用本地化推荐策略，需要确保推荐给项目的自由职业者位于附近，因此地理空间过滤是硬性需求。许多向量数据库不支持此功能，而Qdrant能够同时执行过滤和向量搜索，避免了预过滤或后过滤带来的扩展性和精度问题。这一特性成为Malt选择Qdrant而非Elasticsearch或PGVector的重要因素。
多语言模型与业务适配的嵌入生成
Malt基于多语言e5模型构建了自定义编码器，生成384维嵌入向量。该模型不仅支持多语言，还能处理自由职业者资料中的描述、技能、经验等结构化信息。训练数据来自平台上的历史交互（如自由职业者是否接受项目），并定期重新训练以纳入新反馈，使语义空间更贴合技能与职位的实际分布。
部署与扩展的工程实践
Malt在Kubernetes上部署Qdrant集群，初始使用三个节点，每个分片有一个副本，确保高可用性。通过GitOps方法，将Helm chart存储在Git仓库中，并利用Argo CD同步到集群，保证环境一致性。这种架构使检索阶段可以水平扩展，而排序阶段因输入数量固定无需扩展，为未来更复杂的匹配模型奠定了基础。
Q&A
Malt是如何提升自由职业者与项目匹配效率的？
Malt通过实施检索-排序架构，显著提升了自由职业者与项目的匹配效率。
Nicolas Mauti在Malt的角色是什么？
Nicolas Mauti是Malt的MLOps工程师，专注于推荐系统和自然语言处理模型。
Qdrant数据库的优势是什么？
Qdrant数据库因其高性能和准确的地理空间过滤能力而被选用。
Malt如何优化语义搜索的延迟？
Malt通过多语言变换器模型优化语义搜索，将应用延迟从10秒减少到1秒。
Malt的匹配系统经历了怎样的转变？
Malt的匹配系统经历了从传统的语义搜索到检索-排序架构的转变，以应对用户数量的快速增长。
Malt使用的多语言变换器模型有什么特点？
Malt采用的多语言变换器模型生成384维的嵌入向量，以提高语义搜索能力。
