InfoQ
·
Nishant Lakshmikanth在QCon旧金山会议上分享LinkedIn为服务数十亿用户的迁移之旅
内容提要
在2025年QCon旧金山会议上，LinkedIn工程经理Nishant Lakshmikanth介绍了推荐系统的重构过程，成功实现实时个性化和高效运营。通过四个阶段的架构迁移，LinkedIn从批处理转向动态执行，显著降低了计算和存储成本，同时提升了用户互动和连接率。
关键要点
-
在2025年QCon旧金山会议上，LinkedIn工程经理Nishant Lakshmikanth介绍了推荐系统的重构过程。
-
LinkedIn的旧有架构面临低新鲜度、高延迟和高计算成本的三大限制。
-
推荐系统的目标是实现实时个性化，同时显著降低相关成本。
-
迁移过程分为四个阶段：离线评分、近线评分、在线评分和远程评分。
-
动态候选生成（CG）使用实时搜索索引查询和基于嵌入的检索（EBR）来解决冷启动问题。
-
在线评分服务利用丰富的上下文特征存储，支持现代模型如图神经网络（GNN）和基于变换器的模型。
-
大规模语言模型（LLMs）主要用于候选生成和后排名流程，以避免影响实时核心排名环节的延迟。
-
重构后的系统实现了超过90%的离线计算和存储成本降低，某些核心流程的整体计算成本降低了68%。
-
系统现在能够实现会话级新鲜度，实时响应用户的点击、搜索和个人资料查看，显著提高了用户互动和连接率。
-
模块化设计简化了维护，支持快速模型实验和快速部署前沿模型。
-
这些架构原则正在应用于LinkedIn的其他关键领域，包括招聘和视频内容。
延伸解读
架构迁移的四个阶段
LinkedIn的推荐系统迁移分为离线评分、近线评分、在线评分和远程评分四个阶段。这种分阶段的方法不仅降低了计算和存储成本，还提高了系统的灵活性和实时响应能力。每个阶段的设计都旨在逐步解决旧系统的低新鲜度和高延迟问题，确保用户体验的持续改善。
动态候选生成的优势
通过动态候选生成，LinkedIn能够实时响应用户的需求，解决了冷启动问题。这种方法利用实时搜索索引和基于嵌入的检索技术，使得推荐更加精准和个性化。这不仅提升了用户的互动率，也为新用户和内容的发现提供了更好的支持。
成本效益的显著提升
重构后的推荐系统实现了超过90%的离线计算和存储成本降低，某些核心流程的计算成本降低了68%。这种显著的成本效益提升，使得LinkedIn能够在保持高效运营的同时，进一步投资于其他关键领域，如招聘和视频内容，推动整体业务的发展。
延伸问答
LinkedIn的推荐系统重构的主要目标是什么？
主要目标是实现实时个性化，同时显著降低相关成本。
LinkedIn的架构迁移过程分为几个阶段？
迁移过程分为四个阶段：离线评分、近线评分、在线评分和远程评分。
重构后的推荐系统在成本上取得了什么样的成果？
重构后实现了超过90%的离线计算和存储成本降低，某些核心流程的整体计算成本降低了68%。
动态候选生成（CG）是如何解决冷启动问题的？
CG使用实时搜索索引查询和基于嵌入的检索（EBR）来解决冷启动问题。
重构后的系统如何提高用户互动和连接率？
系统实现了会话级新鲜度，实时响应用户的点击、搜索和个人资料查看，显著提高了用户互动和连接率。
LinkedIn在重构推荐系统时遇到了哪些主要限制？
主要限制包括低新鲜度、高延迟和高计算成本。
