InfoQ
·
LinkedIn重新设计边缘构建系统以支持多样化的推理工作流
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
LinkedIn重新设计了边缘构建系统，以支持多样化的推理工作流，提供更及时和个性化的推荐。新架构满足实时扩展、成本效率和灵活性需求，结合离线、近线和在线推理，提升推荐的相关性和多样性。通过嵌入式检索和模型管理，LinkedIn提高了实验效率和用户参与度。
🎯
关键要点
- LinkedIn重新设计了边缘构建系统，以支持多样化的推理工作流，提供更及时和个性化的推荐。
- 新架构满足实时扩展、成本效率和灵活性需求。
- 边缘构建系统通过推荐“边缘”或成员与内容之间的连接来驱动LinkedIn的图。
- 系统演变以平衡新鲜度、延迟和资源效率。
- 第一代系统依赖离线推理管道，缺乏反映动态成员活动的新鲜度。
- LinkedIn引入近线推理，在用户行为记录后不久运行模型，提供更具响应性的推荐。
- 在线推理的引入使得实时评估候选边缘成为可能，但带来了延迟和资源扩展的挑战。
- 当前架构支持离线、近线、在线和远程推理的混合，使用有向无环图（DAG）协调这些工作流。
- LinkedIn采用基于嵌入的检索（EBR）来改善候选生成，增强多样性和相关性。
- 在LinkedIn的规模下，确保工作流一致性需要在共享特征存储、模型管理框架和分布式服务基础设施上进行重大投资。
- 通过解耦工作流和支持多种推理策略，LinkedIn能够灵活平衡新鲜度、可扩展性和成本。
- 演变后的边缘构建系统使得实验更高效，用户参与度提高，并开启了AI生产力、成本优化等战略机会。
❓
延伸问答
LinkedIn重新设计边缘构建系统的主要目的是什么？
主要目的是支持多样化的推理工作流，提供更及时和个性化的推荐。
新架构如何满足实时扩展和成本效率的需求？
新架构通过支持离线、近线、在线和远程推理的混合，灵活平衡新鲜度、可扩展性和成本。
LinkedIn引入近线推理的原因是什么？
引入近线推理是为了在用户行为记录后不久运行模型，从而提供更具响应性的推荐。
在线推理带来了哪些挑战？
在线推理带来了延迟和资源扩展的挑战。
Embedding-Based Retrieval (EBR) 是如何改善推荐的？
EBR通过从成员档案创建嵌入并从向量存储中检索相关候选，增强了推荐的多样性和相关性。
LinkedIn的边缘构建系统如何提高用户参与度？
通过更高效的实验和A/B测试，边缘构建系统提高了用户参与度。
➡️
