Meta Andromeda：通过模型-系统协同设计驱动下一代广告检索
内容提要
Meta Andromeda是Meta新一代个性化广告检索系统，通过模型、系统与GPU硬件协同设计，引入检索混合专家架构，推理算力较2024版减少约300倍，单GPU每秒可评估超100亿广告。系统将索引匹配、融合评分与Top-K选择整合到单GPU流水线，网络流量降低约100倍，吞吐超每秒10亿广告。该成果使Facebook转化率提升2.4%，并在相同延迟预算下提升广告匹配效果。
延伸解读
模型-系统协同设计：效率提升的关键
文章强调，Meta Andromeda 的突破并非来自单一模型或硬件的优化，而是将模型架构、系统流水线与 GPU 硬件作为整体进行协同设计。例如，检索混合专家架构大幅降低推理 FLOPs，为将索引匹配、融合评分与 Top-K 选择整合到单 GPU 流水线创造了条件。这种思路表明，在广告检索这类内存带宽受限的场景中，跨层协同往往比孤立优化更能释放硬件潜力。
单 GPU 流水线如何消除瓶颈
传统检索流程中，索引匹配、评分和 Top-K 选择分散在 CPU 与远程 GPU 之间，中间张量和候选列表的传输会消耗大量内存带宽与网络带宽。Andromeda 将整个流程共置到单 GPU 服务器，仅传输紧凑的请求载荷，使网络流量降低约 100 倍，并让系统重新回到 GPU 计算受限的状态。这说明，当吞吐达到十亿级时，数据移动而非计算本身往往才是主要瓶颈。
性能提升对广告主意味着什么
文章指出，在相同延迟预算下，新系统能以接近排序阶段的模型质量评估更大候选池中的每一个合格广告，并自动提升匹配效果。自 2025 年以来，Facebook 转化率因此提升 2.4%。对广告主而言，这意味着无需调整投放设置，就可能从更广的候选池中获得更好的匹配；对 Meta 而言，单 GPU 每秒评估更多广告也带来了成本效率。
尚未触及硬件上限，仍有扩展空间
与 NVIDIA 的合作显示，优化后的门控内核达到约 85% 的峰值 HBM 带宽，索引匹配吞吐超过每秒 1000 亿广告，比评分网络高一个数量级。INT8 量化还能在保持精度的同时进一步提升吞吐。文章据此认为，当前架构尚未触及硬件天花板，未来可通过更深的交互网络、更丰富的特征和更多检索路径继续扩展模型复杂度，而不必按比例增加基础设施。
Q&A
Meta Andromeda 是什么？它在广告推荐流程中起什么作用？
Meta Andromeda 是 Meta 的个性化广告检索系统，也是广告推荐流程的第一阶段。它负责在毫秒级时间内从海量合格广告中筛选出少量强候选广告，随后由计算成本更高的排序阶段对这些候选广告进行精细打分。
Meta Andromeda 新一代系统在效率和吞吐上有哪些具体提升？
新一代系统推理算力较 2024 版减少约 300 倍，单 GPU 每秒可评估超过 100 亿广告；单 GPU 服务器吞吐超过每秒 10 亿广告，网络流量降低约 100 倍。这些提升使系统能在相同延迟预算下匹配更大候选池，并带来 Facebook 转化率提升 2.4%。
检索混合专家（Retrieval MoE）架构是如何工作的？
该架构将 LLM 启发的 MoE 引入检索：用户侧使用多个专用用户塔作为专家，融合序列广告互动、用户群组表示、LLM 语义特征和跨表面共同互动信号；候选广告塔采用联合编码融入实时服务上下文；交互层使用基于 MoE 注意力的门控网络，动态将候选路由到最相关的用户专家，仅激活 top-K 专家，从而以少量 FLOPs 达到接近排序级的性能。
为什么要把索引匹配、评分和 Top-K 选择整合到单个 GPU 流水线？
在数十亿广告/秒的吞吐下，中间张量在内存层次间传输会产生数 TB/秒的 HBM 流量，而跨主机传输广告会占满网络带宽，成为新瓶颈。将索引匹配、融合评分和 Top-K 选择共置于同一 GPU 服务器，只发送紧凑请求载荷（用户特征和目标查询），可减少约 100 倍网络流量，使系统重回 GPU 计算受限状态。
融合内核（Fused Kernel）如何消除内存带宽瓶颈？
融合内核将每个用户-广告交互的整个计算（从嵌入收集到 MoE 交互和评分）在一次执行中完成，中间结果保留在 GPU 寄存器和线程块共享内存中，不再物化到 HBM，从而避免多内核流水线中冗余的中间张量流量，实现 GPU 峰值内存带宽的高利用率。
Meta 与 NVIDIA 的合作在优化检索流水线方面取得了哪些成果？
双方系统优化各组件：交互网络门控内核提升 5.3 倍，从 24 亿增至超 100 亿广告/秒，达到约 85% 的 GPU 峰值 HBM 带宽；INT8 量化在精度与 16 位精度相当的情况下再提升最高 2 倍吞吐；索引匹配吞吐提升超 2 倍，达到超 1000 亿广告/秒；端到端流水线通过协同设计数据布局消除组件间数据移动开销，基准测试达到当前生产吞吐的数倍。
Meta Andromeda 的协同设计原则对未来扩展意味着什么？
核心原则是将模型、系统和硬件作为一体化栈来设计，而非孤立优化。当前流水线尚未达到硬件上限：量化可进一步提升评分吞吐，索引匹配吞吐比评分网络高一个数量级，架构可吸收更多模型复杂度（更深的交互网络、更丰富的特征空间、更多检索路径）而无需成比例增加基础设施。该原则也适用于下一代模型架构和硬件平台（如 Grace Blackwell）。
