The TensorFlow Blog
·
使用TensorFlow Recommenders和Vertex AI Matching Engine扩展深度检索
💡
原文英文，约3800词，阅读约需14分钟。
📝
内容提要
本文介绍了如何使用TFRS和Vertex AI Matching Engine扩展深度检索的方法，包括构建两个塔编码器、添加dense和cross layers、使用NDR架构进行特征工程、使用Vertex AI Matching Engine实现高效的检索等。
🎯
关键要点
- 本文介绍了如何使用TFRS和Vertex AI Matching Engine扩展深度检索的方法。
- 构建两个塔编码器以实现候选项检索。
- 使用NDR架构进行特征工程以提高模型性能。
- 通过Vertex AI Matching Engine实现高效的检索。
- 候选检索的第一阶段旨在从大规模候选项中筛选出相关子集。
- 两个塔架构能够捕捉查询和候选实体的语义，并将其映射到共享嵌入空间。
- 通过解耦查询和候选项的推理，可以预计算候选项的嵌入，降低计算延迟。
- 使用近似最近邻（ANN）索引来加速候选项检索。
- 深度检索模型的训练数据应准确反映要解决的问题。
- 通过TFRS构建检索模型时，两个塔分别实现为可调用的Keras模型。
- 可以通过添加密集层和交叉层来增强模型的表达能力。
- Matching Engine提供了一个托管的解决方案，用于高效的向量相似性搜索。
- Matching Engine支持大规模嵌入数据集，具有增量更新和动态重建功能。
- 在后续文章中将展示如何使用Vertex AI和其他Google Cloud服务实现这些技术。
➡️
