InfoQ
·
LinkedIn重新设计边缘构建系统以支持多样化的推理工作流
内容提要
LinkedIn重新设计了边缘构建系统，以支持多样化的推理工作流，提供更及时和个性化的推荐。新架构满足实时扩展、成本效率和灵活性需求，结合离线、近线和在线推理，提升推荐的相关性和多样性。通过嵌入式检索和模型管理，LinkedIn提高了实验效率和用户参与度。
关键要点
-
LinkedIn重新设计了边缘构建系统，以支持多样化的推理工作流，提供更及时和个性化的推荐。
-
新架构满足实时扩展、成本效率和灵活性需求。
-
边缘构建系统通过推荐“边缘”或成员与内容之间的连接来驱动LinkedIn的图。
-
系统演变以平衡新鲜度、延迟和资源效率。
-
第一代系统依赖离线推理管道，缺乏反映动态成员活动的新鲜度。
-
LinkedIn引入近线推理，在用户行为记录后不久运行模型，提供更具响应性的推荐。
-
在线推理的引入使得实时评估候选边缘成为可能，但带来了延迟和资源扩展的挑战。
-
当前架构支持离线、近线、在线和远程推理的混合，使用有向无环图（DAG）协调这些工作流。
-
LinkedIn采用基于嵌入的检索（EBR）来改善候选生成，增强多样性和相关性。
-
在LinkedIn的规模下，确保工作流一致性需要在共享特征存储、模型管理框架和分布式服务基础设施上进行重大投资。
-
通过解耦工作流和支持多种推理策略，LinkedIn能够灵活平衡新鲜度、可扩展性和成本。
-
演变后的边缘构建系统使得实验更高效，用户参与度提高，并开启了AI生产力、成本优化等战略机会。
延伸解读
推理工作流的多样性
LinkedIn的新边缘构建系统支持多种推理工作流，包括离线、近线和在线推理。这种多样性使得系统能够根据不同的需求灵活调整，确保推荐的相关性和新鲜度，适应用户行为的快速变化。
实时推荐的挑战
虽然在线推理提供了实时推荐的优势，但也带来了延迟和资源扩展的挑战。LinkedIn通过引入远程推理来应对这些问题，确保在不同平台上都能高效调用模型，提升用户体验。
投资与基础设施
为了实现工作流的一致性，LinkedIn在共享特征存储、模型管理框架和分布式服务基础设施上进行了重大投资。这些基础设施的建设是支持系统灵活性和可扩展性的关键，确保了推荐系统的高效运作。
延伸问答
LinkedIn重新设计边缘构建系统的主要目的是什么？
主要目的是支持多样化的推理工作流，提供更及时和个性化的推荐。
新架构如何满足实时扩展和成本效率的需求？
新架构通过支持离线、近线、在线和远程推理的混合，灵活平衡新鲜度、可扩展性和成本。
LinkedIn引入近线推理的原因是什么？
引入近线推理是为了在用户行为记录后不久运行模型，从而提供更具响应性的推荐。
在线推理带来了哪些挑战？
在线推理带来了延迟和资源扩展的挑战。
Embedding-Based Retrieval (EBR) 是如何改善推荐的？
EBR通过从成员档案创建嵌入并从向量存储中检索相关候选，增强了推荐的多样性和相关性。
LinkedIn的边缘构建系统如何提高用户参与度？
通过更高效的实验和A/B测试，边缘构建系统提高了用户参与度。
