💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
Meta AI研究团队提出ExFM框架，解决了万亿级基础大模型在广告推荐中的高效服务问题。该框架通过外部蒸馏和动态适应机制，实现教师模型与学生模型的解耦，显著降低计算成本和延迟，提升模型性能，推动广告推荐系统优化。
🎯
关键要点
- Meta AI研究团队提出ExFM框架，解决万亿级基础大模型在广告推荐中的高效服务问题。
- ExFM框架通过外部蒸馏和动态适应机制，实现教师模型与学生模型的解耦，降低计算成本和延迟。
- 在线广告推荐系统的模型性能直接影响用户体验与商业价值，面临训练和计算成本高、实时推荐延迟要求严格等挑战。
- 目前工业界主要通过教师-学生蒸馏将基础大模型能力迁移到线上小模型，但面临训练预算和数据分布动态变化的挑战。
- ExFM框架支持万亿参数大模型的高效服务，显著降低工业界受益于大模型的门槛和成本。
- ExFM实现了规模化大模型及线上模型的迭代部署，提出数据增强系统（DAS）以提高模型性能。
- ExFM通过辅助头和学生适配器提高知识迁移转化率，减少流式数据分布变化对模型训练的影响。
- ExFM框架实现了1到N的知识迁移转化，支持不同领域和任务的广告排序模型。
- ExFM展示了一种新型的Transfer Scaling Law，随着基础大模型规模的提升，线上广告排序模型性能持续提升。
- ExFM框架的核心优势包括零额外推理延迟和动态适应能力，确保模型持续适应数据分布变化。
- ExFM在Meta内部和公开数据集上均取得显著效果，验证了其性能提升和跨场景泛化能力。
- 论文已被WWW 2025 Industrial Track录用为口头报告，标志着其在广告推荐领域的重要性。
➡️
