Increase by 20%! Unveiling the Load Balancing of JD.com's Advertising Model System
内容提要
负载均衡策略在分布式服务架构中至关重要，能够提高资源利用率和服务稳定性。京东广告在线模型系统通过演进负载均衡策略，解决异构硬件集群的负载不均问题，采用动态负载均衡技术，优化流量分配，提升整体性能，成功实现了机器资源利用率的显著提升。
延伸解读
从静态到动态：负载均衡策略的演进逻辑
京东广告在线模型系统的负载均衡策略经历了从静态到动态的演进。静态策略如轮询和随机，实现简单但假设节点同质化，难以应对异构硬件和流量波动。动态策略引入实时可用率和资源利用率指标，通过反馈调节流量分配，解决了负载不均问题。这一演进体现了从简单到复杂、从单一目标到多目标分级的优化思路，为类似系统提供了参考。
双目标联合均衡：可用率与资源利用率的平衡
系统采用“服务可用率+资源利用率”双目标联合均衡策略，以可用率为兜底，CPU/GPU利用率为辅助目标。通过将节点划分为正负反馈列表，动态调整分流比例，实现渐进式收敛。同时引入收敛域和权重衰减，兼容一致性哈希等策略，避免绝对均衡带来的缓存命中率下降。这种分级反馈机制在保证稳定性的同时提升了资源利用率。
大促验证：实际效果与业务价值
在2022年618和11.11大促期间，该策略在模型预估和特征服务集群全量上线，分别优化机器资源利用率10%+和15%+。2024年618前后，通过统一LB框架，模型接入服务模块实现CPU资源利用率优化20%+。这些数据表明，动态负载均衡策略能有效应对大促流量冲击，提升资源效率，降低扩容成本，具有显著的业务价值。
实践启示：稳定调权与主动防护
负载均衡策略的有效性依赖于流量变化与均衡目标的相关性。当节点性能达到极限时，相关性可能失效，因此需要主动限流防护。此外，权重归一化和异常节点数据排除可避免权重发散，确保系统最差情况不差于初始状态。这些经验强调了在动态调权过程中稳定性和防护机制的重要性，为分布式系统负载均衡设计提供了实用指导。
Q&A
京东广告在线模型系统的负载均衡策略有什么重要性？
负载均衡策略提高了资源利用率和服务稳定性，解决了异构硬件集群的负载不均问题。
京东的负载均衡策略是如何演进的？
京东的负载均衡策略经历了从静态到动态的演进，逐步引入可用率和资源利用率目标。
动态负载均衡技术如何优化流量分配？
动态负载均衡技术通过实时测量负载并调整流量分配，确保资源的高效利用。
京东在618和11.11大促期间的负载均衡效果如何？
在618和11.11大促期间，京东成功实现了机器资源利用率的显著提升，分别优化了10%和15%。
负载均衡策略中如何处理异构硬件的资源利用？
负载均衡策略通过引入CPU/GPU资源利用率指标，优化流量分配以提高资源利用率。
京东的负载均衡策略如何应对大促流量变化？
京东的负载均衡策略设计合理，能够有效应对大促期间复杂多变的流量冲击，确保服务稳定性。
