Engineering at Meta ·

从用户序列到扩展定律：Meta广告排序的多阶段架构

💡 原文英文，约1600词，阅读约需6分钟。

📝

内容提要

Meta广告推荐系统采用多阶段序列模型架构，将离线用户建模与在线排序解耦，结合密集分词和目标感知注意力，实现LLM式可预测扩展。该方案提升Instagram转化率6%、Facebook转化率3%和广告点击率3.5%，并作为GEM核心组件，支持模型规模高效扩展。

🔎

Meta将序列模型拆分为离线用户建模和在线排序两个阶段，离线模型异步处理长序列并缓存用户嵌入，在线模型则利用实时信号进行快速排序。这种解耦使得模型容量可以大幅扩展，而不会显著增加在线服务的计算负担。对于工业界而言，这种架构设计提供了一种在复杂模型与严格延迟预算之间取得平衡的思路，值得借鉴。

传统推荐系统依赖人工特征工程来捕捉稀疏特征的交叉，而Meta提出的密集分词方法将稀疏特征与序列行为统一到一个密集词表中，让注意力机制自动学习特征交互。目标感知的多头注意力则让模型在评分每个广告时，能针对性地加权用户历史行为。这种端到端的学习方式减少了对人工设计的依赖，提升了模型的表达能力和泛化性。

Meta观察到广告推荐中出现了类似LLM的扩展定律，性能随计算量呈对数线性提升，并提出了四个扩展杠杆：平衡模型形状、多阶段可调性、序列多样性以及语义特征。然而，这些发现基于Meta的特定场景，其他系统未必能直接复现。扩展定律的预测性也需在长期实践中验证，且计算成本与收益的权衡需谨慎评估。

❓

Meta采用了多阶段序列模型架构，将离线用户建模与在线排序解耦，并结合密集分词和目标感知注意力技术，实现了类似LLM的可预测扩展。

该模型分为两个阶段：离线用户模型异步处理长用户历史，生成并缓存用户嵌入；在线排序模型结合这些缓存表示和实时广告候选信号进行最终排序。

技术创新包括密集分词（将稀疏特征和序列行为数据整合到统一词汇表）和目标感知多头注意力（让模型根据目标广告加权用户历史行为）。

是的，在真实广告流量上，模型性能与计算量呈对数线性关系，表现出类似LLM的可预测扩展定律，且扩展效率优于其他基于Transformer的序列模型。

四个杠杆：平衡模型形状（深度、宽度、序列长度均衡增长）、多阶段可调性（可分别调整离线或在线模型规模）、序列组成（多样化的动作类型优于单一类型）、语义特征表示（利用基础模型语义特征，尤其在冷启动场景）。

该模型使Instagram转化率提升6%，Facebook转化率提升3%，Facebook广告点击率提升3.5%。

该模型是Meta生成式广告推荐模型（GEM）的核心组件，为GEM提供统一的序列建模平台，支持模型规模高效扩展。

🏷️