美团技术团队
·
MTGR：美团外卖生成式推荐Scaling Law落地实践
💡
原文中文，约10900字，阅读约需26分钟。
📝
内容提要
深度学习中的缩放法则探讨了模型性能、架构与计算量的关系。生成式推荐（如MTGR）通过优化用户行为建模，提升了美团外卖的推荐效果，离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。该方法在资源使用上与基准模型相当，在线推理节省12%。未来将继续优化模型，以提升推荐效果。
🎯
关键要点
- 深度学习中的缩放法则探讨模型性能、架构与计算量的关系。
- 生成式推荐（MTGR）通过优化用户行为建模，提升美团外卖推荐效果。
- 离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。
- MTGR在资源使用上与基准模型相当，在线推理节省12%。
- 生成式推荐在推荐系统领域仍处于起步阶段，传统DLRM模式提升转化率困难。
- 生成式架构、堆叠式架构和混合式架构是工业界探索的三种技术路径。
- MTGR模型框架保留DLRM原始特征，采用HSTU架构进行建模。
- MTGR通过动态混合掩码策略提升HSTU学习效果。
- Scaling Cross Module和Scaling User Module是外卖业务DLRM范式的迭代路径。
- MTGR的训练引擎支持低成本、高效率的大规模分布式训练。
- MTGR的推理引擎基于Nvidia生态系统，优化推理性能。
- MTGR在美团外卖推荐业务中取得显著收益，离线效果超越DLRM基准。
- 未来将继续优化模型，结合LBS业务特点提升排序效果。
❓
延伸问答
什么是美团外卖的生成式推荐MTGR？
MTGR是美团外卖基于HSTU架构提出的生成式推荐模型，通过优化用户行为建模提升推荐效果。
MTGR在美团外卖的推荐效果如何？
MTGR离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。
MTGR与传统DLRM模型相比有什么优势？
MTGR在资源使用上与基准模型相当，在线推理节省12%，并且在离线效果上超越DLRM基准。
MTGR的训练和推理引擎有什么特点？
MTGR的训练引擎支持低成本、高效率的大规模分布式训练，推理引擎基于Nvidia生态系统优化推理性能。
生成式推荐在推荐系统领域面临哪些挑战？
生成式推荐面临用户行为处理效率低、特征工程复杂等挑战，传统DLRM模式难以有效提升转化率。
未来MTGR的优化方向是什么？
未来将结合LBS业务特点优化HSTU结构，提升排序效果，并建立多业务全场景MTGR模型。
➡️
