LiNR: 在领英上基于模型的神经检索
💡
原文中文,约600字,阅读约需2分钟。
📝
内容提要
该论文介绍了LinkedIn的大规模基于GPU的检索系统LiNR,支持十亿级索引。使用TensorFlow和PyTorch创建可扩展的可区分搜索索引的经验和挑战。LiNR将项目和模型权重集成到模型二进制文件中,并扩展系统以支持大规模索引。实现基于属性的预过滤用于GPU搜索,并解决KNN搜索中的后过滤挑战。提供多嵌入检索算法和策略解决冷启动问题。通过量化支持更大索引。应用LiNR在LinkedIn Feed的网络外推荐中,专业日活跃用户增加了3%。预期LiNR将检索和排序集成为单个GPU模型,简化基础设施并实现端到端优化。
🎯
关键要点
- 该论文介绍了LinkedIn的大规模基于GPU的检索系统LiNR,支持十亿级索引。
- 使用TensorFlow和PyTorch创建可扩展的可区分搜索索引的经验和挑战。
- LiNR将项目和模型权重集成到模型二进制文件中,并将索引构建视为一种模型训练形式。
- 实现基于属性的预过滤用于GPU搜索,并解决KNN搜索中的后过滤挑战。
- 提供多嵌入检索算法和策略解决冷启动问题。
- 通过量化支持更大索引的先进技术。
- LiNR在LinkedIn Feed的网络外推荐中应用,使专业日活跃用户增加了3%。
- 预期LiNR将检索和排序集成为单个GPU模型,简化基础设施并实现端到端优化。
➡️