LiNR: 在领英上基于模型的神经检索

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

该论文介绍了LinkedIn的大规模基于GPU的检索系统LiNR,支持十亿级索引。使用TensorFlow和PyTorch创建可扩展的可区分搜索索引的经验和挑战。LiNR将项目和模型权重集成到模型二进制文件中,并扩展系统以支持大规模索引。实现基于属性的预过滤用于GPU搜索,并解决KNN搜索中的后过滤挑战。提供多嵌入检索算法和策略解决冷启动问题。通过量化支持更大索引。应用LiNR在LinkedIn Feed的网络外推荐中,专业日活跃用户增加了3%。预期LiNR将检索和排序集成为单个GPU模型,简化基础设施并实现端到端优化。

🎯

关键要点

  • 该论文介绍了LinkedIn的大规模基于GPU的检索系统LiNR,支持十亿级索引。
  • 使用TensorFlow和PyTorch创建可扩展的可区分搜索索引的经验和挑战。
  • LiNR将项目和模型权重集成到模型二进制文件中,并将索引构建视为一种模型训练形式。
  • 实现基于属性的预过滤用于GPU搜索,并解决KNN搜索中的后过滤挑战。
  • 提供多嵌入检索算法和策略解决冷启动问题。
  • 通过量化支持更大索引的先进技术。
  • LiNR在LinkedIn Feed的网络外推荐中应用,使专业日活跃用户增加了3%。
  • 预期LiNR将检索和排序集成为单个GPU模型,简化基础设施并实现端到端优化。
➡️

继续阅读