内容提要
在2025年QCon旧金山会议上,LinkedIn工程经理Nishant Lakshmikanth介绍了推荐系统的重构过程,成功实现实时个性化和高效运营。通过四个阶段的架构迁移,LinkedIn从批处理转向动态执行,显著降低了计算和存储成本,同时提升了用户互动和连接率。
关键要点
-
在2025年QCon旧金山会议上,LinkedIn工程经理Nishant Lakshmikanth介绍了推荐系统的重构过程。
-
LinkedIn的旧有架构面临低新鲜度、高延迟和高计算成本的三大限制。
-
推荐系统的目标是实现实时个性化,同时显著降低相关成本。
-
迁移过程分为四个阶段:离线评分、近线评分、在线评分和远程评分。
-
动态候选生成(CG)使用实时搜索索引查询和基于嵌入的检索(EBR)来解决冷启动问题。
-
在线评分服务利用丰富的上下文特征存储,支持现代模型如图神经网络(GNN)和基于变换器的模型。
-
大规模语言模型(LLMs)主要用于候选生成和后排名流程,以避免影响实时核心排名环节的延迟。
-
重构后的系统实现了超过90%的离线计算和存储成本降低,某些核心流程的整体计算成本降低了68%。
-
系统现在能够实现会话级新鲜度,实时响应用户的点击、搜索和个人资料查看,显著提高了用户互动和连接率。
-
模块化设计简化了维护,支持快速模型实验和快速部署前沿模型。
-
这些架构原则正在应用于LinkedIn的其他关键领域,包括招聘和视频内容。
延伸问答
LinkedIn的推荐系统重构的主要目标是什么?
主要目标是实现实时个性化,同时显著降低相关成本。
LinkedIn的架构迁移过程分为几个阶段?
迁移过程分为四个阶段:离线评分、近线评分、在线评分和远程评分。
重构后的推荐系统在成本上取得了什么样的成果?
重构后实现了超过90%的离线计算和存储成本降低,某些核心流程的整体计算成本降低了68%。
动态候选生成(CG)是如何解决冷启动问题的?
CG使用实时搜索索引查询和基于嵌入的检索(EBR)来解决冷启动问题。
重构后的系统如何提高用户互动和连接率?
系统实现了会话级新鲜度,实时响应用户的点击、搜索和个人资料查看,显著提高了用户互动和连接率。
LinkedIn在重构推荐系统时遇到了哪些主要限制?
主要限制包括低新鲜度、高延迟和高计算成本。