美团技术团队
·
MTGR：美团外卖生成式推荐Scaling Law落地实践
内容提要
深度学习中的缩放法则探讨了模型性能、架构与计算量的关系。生成式推荐（如MTGR）通过优化用户行为建模，提升了美团外卖的推荐效果，离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。该方法在资源使用上与基准模型相当，在线推理节省12%。未来将继续优化模型，以提升推荐效果。
关键要点
-
深度学习中的缩放法则探讨模型性能、架构与计算量的关系。
-
生成式推荐（MTGR）通过优化用户行为建模，提升美团外卖推荐效果。
-
离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。
-
MTGR在资源使用上与基准模型相当，在线推理节省12%。
-
生成式推荐在推荐系统领域仍处于起步阶段，传统DLRM模式提升转化率困难。
-
生成式架构、堆叠式架构和混合式架构是工业界探索的三种技术路径。
-
MTGR模型框架保留DLRM原始特征，采用HSTU架构进行建模。
-
MTGR通过动态混合掩码策略提升HSTU学习效果。
-
Scaling Cross Module和Scaling User Module是外卖业务DLRM范式的迭代路径。
-
MTGR的训练引擎支持低成本、高效率的大规模分布式训练。
-
MTGR的推理引擎基于Nvidia生态系统，优化推理性能。
-
MTGR在美团外卖推荐业务中取得显著收益，离线效果超越DLRM基准。
-
未来将继续优化模型，结合LBS业务特点提升排序效果。
延伸解读
生成式推荐的优势与挑战
生成式推荐（MTGR）在美团外卖的应用中展现了显著的效果提升，尤其是在离线CTCVR GAUC和订单量方面。然而，生成式推荐仍面临挑战，特别是在处理低点击率和高复购率的外卖业务时，模型对原始用户行为信号的依赖可能导致性能下降。未来的优化需要关注如何平衡模型复杂性与实际业务需求。
模型架构的演变
MTGR模型采用了混合式架构，结合了生成式和传统推荐系统的优点。这种架构不仅保留了交叉特征，还通过动态混合掩码策略提升了学习效果。随着推荐系统技术的不断演进，未来可能会出现更多创新的架构设计，以更好地适应用户行为的变化和业务需求。
资源使用的优化
MTGR在资源使用上与基准模型持平，并在在线推理中节省了12%的资源。这一优化使得模型在保持高效能的同时，降低了计算成本。对于其他企业而言，如何在保证推荐效果的前提下，优化资源使用，将是提升竞争力的关键。
延伸问答
什么是美团外卖的生成式推荐MTGR？
MTGR是美团外卖基于HSTU架构提出的生成式推荐模型，通过优化用户行为建模提升推荐效果。
MTGR在美团外卖的推荐效果如何？
MTGR离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。
MTGR与传统DLRM模型相比有什么优势？
MTGR在资源使用上与基准模型相当，在线推理节省12%，并且在离线效果上超越DLRM基准。
MTGR的训练和推理引擎有什么特点？
MTGR的训练引擎支持低成本、高效率的大规模分布式训练，推理引擎基于Nvidia生态系统优化推理性能。
生成式推荐在推荐系统领域面临哪些挑战？
生成式推荐面临用户行为处理效率低、特征工程复杂等挑战，传统DLRM模式难以有效提升转化率。
未来MTGR的优化方向是什么？
未来将结合LBS业务特点优化HSTU结构，提升排序效果，并建立多业务全场景MTGR模型。
