将机会性AI推理算力转化为更优的广告推荐
内容提要
Meta利用推理集群中局部闲置算力构建共享机会容量池，以优化广告推荐。系统采用两个弹性杠杆：RMA增加排序候选广告数量，SBM提高强模型处理请求比例。通过物理与逻辑隔离、反馈控制及价值感知降载，确保基础服务不受影响，在不增加容量的情况下提升广告相关性和广告主价值。
延伸解读
机会容量池的由来与挑战
文章指出，推理集群常面临“全局紧张但局部闲置”的悖论，原因包括峰值预留与需求波动不匹配、模型开发与容量交付时间错位、区域资源比例失调以及加速器类型不兼容。Meta将这些分散的闲置容量聚合为共享机会池，但该容量可被随时回收且波动大，因此必须在不影响基线服务的前提下使用。
RMA与SBM：两种弹性杠杆的互补
RMA通过增加排序阶段评估的候选广告数量来提升相关性，需要CPU和加速器剩余容量；SBM则提高强模型处理请求的比例，仅需加速器剩余容量。两者消耗不同资源组合，能利用更广泛的机会容量。系统根据实测性能和资源需求定期调整两者分配，以最大化机会容量的价值。
安全使用机会容量的关键机制
为确保基线服务不受影响，系统采用物理与逻辑隔离：SBM使用独立路由目标，RMA通过全局预算限制额外工作。同时，基于延迟反馈的PID控制器调节RMA候选量，价值感知的模型路由优化SBM覆盖。当容量突然回收时，服务器和客户端的多层价值感知降载能在毫秒级移除低价值可选工作，避免过载。
未来方向：提升弹性与自动化分配
Meta计划扩展RMA和SBM的操作范围，并开发预计算弹性等新杠杆，以利用更多机会容量。同时，通过增强模型可移植性和跨区域推理，扩大可用容量池。此外，正在构建基于优化的系统，根据用户和广告主收益自动分配推理容量给不同弹性杠杆，在区域、硬件兼容性等约束下最大化容量回报。
Q&A
Meta如何利用闲置的AI推理算力来提升广告推荐效果？
Meta构建了一个系统，将推理集群中局部闲置的算力聚合成共享的机会容量池，用于广告推荐。通过两个弹性杠杆——增加排序候选广告数量（RMA）和提高强模型处理请求比例（SBM），在不增加专用容量的情况下，提升广告相关性和广告主价值。
什么是推理容量悖论？为什么会出现这种情况？
推理容量悖论是指推理集群整体上可能容量紧张，但局部却存在闲置容量。原因包括：峰值配置与需求变化不匹配、模型开发与容量交付时间不匹配、区域资源比例不匹配、加速器类型不匹配等。这些不匹配导致容量在全局受限的同时局部闲置。
RMA和SBM两个弹性杠杆有什么区别？为什么需要同时使用？
RMA通过增加排序阶段评估的候选广告数量来提升相关性，需要CPU和加速器剩余容量；SBM通过调整使用更强模型的请求比例来提升预测质量，主要消耗加速器容量。两者消耗不同资源组合，同时使用可以更广泛地利用机会容量，并根据流量和资源情况动态调整分配。
如何确保使用机会容量时不影响基础广告服务？
通过物理和逻辑隔离保护基础服务容量。SBM采用物理隔离，基础模型和强模型使用独立的路由目标；RMA采用逻辑隔离，通过全局预算限制额外候选排序工作。此外，还有两个反馈循环控制RMA候选量和SBM模型覆盖率，以及服务器和客户端的价值感知降载，在容量突然回收时快速减少可选工作，避免影响基础服务的延迟和可靠性。
RMA和SBM的反馈控制机制是如何工作的？
RMA使用中央PID控制器和客户端执行，根据观察到的尾部延迟调整排序广告数量目标，客户端将目标应用于新请求。SBM使用中央控制和客户端路由，中央控制器设置强模型的目标覆盖率，客户端模型路由器根据请求价值信号决定哪些请求使用强模型，并通过探索-利用过程定期更新分配。两者都通过反馈循环使可选工作与可用容量对齐。
什么是价值感知降载？它如何应对容量突然回收？
价值感知降载是服务器和客户端在容量突然回收时立即减少低价值可选工作的机制。服务器端在机会池失去容量时，立即减少RMA中处理的候选数量或SBM中路由到强模型的请求；客户端在观察到服务器过载时，直接减少额外广告或强模型请求。两者都在几毫秒内反应，使用价值信号选择要移除的工作，以最小化影响。
Meta未来在利用机会容量方面有哪些计划？
未来计划包括：提高工作负载弹性，扩展RMA和SBM的操作范围，开发新的弹性杠杆如预计算弹性；扩大可用容量池，通过模型可移植性和跨区域推理能力利用更多容量；自动化基于价值的容量分配，构建基于优化的系统，根据用户和广告主的收益自动调整AI推理容量在不同弹性杠杆间的分配。
