Meta的生成式广告模型（GEM）：为前沿广告AI扩展中央模型与计算引擎
内容提要
Meta发布广告推荐基础模型GEM，采用LLM式架构Kunlun，将各平台独立优化整合为统一中央模型，跨Facebook、Instagram等场景联合预测点击与转化。GEM实现转化率提升18.9%、点击率提升12%，训练FLOPs扩大4倍，效率翻倍至20-25% MFU。通过LoopFM和Solaris等技术向下游模型迁移智能，并支持超长用户序列建模。
延伸解读
从分散优化到中央模型：GEM 的架构转变
GEM 将 Facebook、Instagram、Reels 等各平台的独立预测系统整合为一个中央基础模型，联合预测点击和转化。这种统一架构使数据丰富任务（如点击）学到的表示能迁移到数据稀疏任务（如转化），从而在多个场景同时提升效果。文章报告了 18.9% 的转化提升和 12% 的点击率提升，并指出在 Facebook、Instagram 和站外转化上分别有 5.8%、4.1% 和 1.6% 的转化增长。
Kunlun 架构与超长序列：推荐系统的缩放定律
GEM 采用 LLM 风格的 Kunlun 架构，通过块注意力、组件统一和专家并行等技术，使模型复杂度增长 2.5 倍时仍能高效扩展。文章强调，预测质量随序列长度呈幂律提升，且更大模型从长序列中获益更多，形成“算力扩大→模型变大→长序列更有价值”的良性循环。生产环境中序列长度已扩展 2 倍，并具备扩展至 25 倍的能力。
智能迁移与实时推理：LoopFM 和 Solaris 的作用
为将中央模型的知识迁移到数百个实时服务的垂直模型，GEM 引入 LoopFM 结构化表示，将模型内部表示和序列历史记忆压缩后传递给下游，迁移效果是知识蒸馏的 2 倍，且不增加额外计算或延迟。Solaris 则通过推测性预计算，在请求前异步生成用户-广告嵌入，使下游模型能获得近实时的中央模型智能，同时避免实时评估所有候选广告带来的延迟压力。
训练效率与工程挑战：4 倍 FLOPs 下 MFU 翻倍
GEM 在数千个最新 GPU 上训练，总训练 FLOPs 扩大 4 倍，同时端到端训练效率（MFU）从较低水平提升至 20-25%。这得益于计算效率（如 Jagged Flash Attention、混合超低精度训练）和扩展效率（如拓扑感知的 5D 并行、SM-free 集合通信）的协同优化。文章指出，在 LLM 与推荐系统交叉领域训练基础模型是一个软硬件协同设计问题，需要内核、精度、并行、网络和内存各层共同优化。
Q&A
Meta的GEM模型是什么？
GEM是Meta推出的生成式广告模型，是业界最大的推荐系统基础模型，采用LLM式架构，将各平台独立优化整合为统一中央模型，跨Facebook、Instagram等场景联合预测点击与转化。
GEM在广告效果上带来了哪些提升？
GEM实现了转化率提升18.9%、点击率提升12%，并在Facebook、Instagram和站外转化上分别贡献了5.8%、4.1%和1.6%的转化提升。
GEM的Kunlun架构有什么特点？
Kunlun是GEM的LLM式架构，与最新GPU硬件协同设计，支持超长用户序列建模，通过块注意力、GDPA、专家并行等技术，在相同计算规模下比前代Interformer性能提升2倍。
GEM如何将智能迁移到下游模型？
GEM通过LoopFM结构化表示和Solaris弹性预计算技术，将中央模型的内部表示和序列历史记忆迁移到下游模型，实现2倍于知识蒸馏的迁移效果，且不增加额外计算成本或延迟。
GEM在训练效率方面取得了什么进展？
GEM将端到端训练效率翻倍至20-25% MFU，同时总训练FLOPs扩大4倍，通过定制内核、5D并行策略和低精度训练等技术，在数千个GPU上实现LLM规模训练。
GEM如何实现跨平台跨领域的广告优化？
GEM通过统一的中央基础模型，联合预测所有平台（如Facebook、Instagram）的点击和转化，采用无成本数据混合策略和领域专家框架，处理异构大规模学习，实现跨表面和漏斗阶段的优化。
