Meta通过提高尾部利用率优化AI推理
内容提要
Meta通过优化尾部利用率，显著提高了其机器学习模型服务基础设施的效率和可靠性。这导致工作产出增加了35%，超时错误率减少了三分之二，尾延迟减少了50%。Meta在优化尾部利用率方面的努力对于像广告平台这样的大规模运营至关重要，该平台依赖于机器学习模型。公司通过调整负载均衡机制、实施模型部署的系统级变化以及解决与快照转换和跨服务负载均衡相关的挑战来实现这一目标。这些改进使得Meta能够在不增加容量的情况下支持更大的负载，提升了系统可靠性并降低了延迟。Meta计划将这些经验应用于新的系统架构和平台。
延伸解读
尾部利用率：大规模AI推理的关键瓶颈
尾部利用率指按使用量排名前5%的服务器的利用水平。由于流量增长与服务器利用率呈非线性关系，高尾部利用率的服务器容易过载，影响服务等级协议（SLA），迫使系统整体过度配置资源以维持余量。Meta通过优化尾部利用率，在不增加容量的情况下支撑了35%的负载增长，同时将超时错误率降低三分之二，尾延迟降低50%。这表明，对于依赖实时广告模型推理的大规模平台，管理尾部利用率是提升效率与可靠性的核心。
负载均衡与系统级优化的协同作用
Meta的优化策略结合了负载均衡机制调整与系统级部署变更。在负载均衡方面，采用“两个选择的力量”算法，通过ServiceRouter随机选择两台服务器中负载较轻者，避免热点。在部署层面，通过Shard Manager微调配置实现模型副本的放置负载均衡，并引入内存带宽作为副本放置的考量资源，解决了因内存延迟导致的CPU峰值问题。此外，实施每模型负载计数器，统一了ServiceRouter、Shard Manager和ReplicaEstimator的负载预期，使资源分配更精准。
主动预测与平滑过渡：降低高峰风险
为减少高峰期的干扰，Meta引入了快照转换预算能力，控制模型版本更新时的资源消耗。同时，开发了预测副本估计系统，可提前两小时预测资源使用情况，确保在需求到来前准备好资源，从而降低高峰期的故障率。跨服务负载均衡方面，通过反馈控制器动态调整不同硬件类型和容量池之间的流量路由比例，实现服务层级间的更好平衡。这些措施共同提升了广告模型推理服务的可靠性，并降低了延迟。
经验复用与未来架构
Meta计划将尾部利用率优化的经验应用于新的系统架构和平台，例如IPnext——其下一代统一平台，用于管理机器学习模型部署的整个生命周期。随着机器学习模型日益复杂和计算密集，高效大规模地服务模型将成为技术公司持续关注的焦点。Meta的实践表明，通过系统级优化和主动资源管理，可以在不增加容量的前提下显著提升吞吐量、可靠性和延迟表现，为行业提供了可借鉴的路径。
Q&A
Meta是如何提高机器学习模型服务基础设施的效率的？
Meta通过优化尾部利用率，调整负载均衡机制和实施系统级变化来提高效率。
尾部利用率是什么，它为什么重要？
尾部利用率是指按使用量排名前5%的服务器的利用水平，对大规模运营至关重要。
Meta在优化尾部利用率方面取得了哪些具体成果？
Meta实现了35%的工作产出增加，超时错误率减少三分之二，尾延迟减少50%。
Meta是如何解决与快照转换相关的挑战的？
Meta引入了快照转换预算能力，以减少高峰期的干扰。
Meta的负载均衡机制有什么创新之处？
Meta采用了“两个选择的力量”算法，随机选择负载最轻的服务器进行请求处理。
Meta计划如何应用这些优化经验？
Meta计划将这些经验应用于新的系统架构和平台，如IPnext。
