Meta的GEM广告推荐模型通过软硬件协同设计，将端到端训练效率提升至20-25% MFU，训练FLOPs一年内增长4倍。核心创新包括定制内核库（如Jagged Flash Attention、GDPA、BlockAttention）和混合超低精度训练提升计算效率；拓扑感知的5D并行、SM-free通信、自动激活检查点和负载均衡优化扩展效率。这些方法解决了推荐系统与LLM混合架构的独特挑战。