韩瑞东_MTGR：美团外卖下一代生成式推荐模型落地实践.pdf

《韩瑞东_MTGR：美团外卖下一代生成式推荐模型落地实践.pdf》由会员分享，可在线阅读，更多相关《韩瑞东_MTGR：美团外卖下一代生成式推荐模型落地实践.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、12025年7月MTGRMTGR：美团外卖下一代生成式推荐模型落地实践：美团外卖下一代生成式推荐模型落地实践核心本地商业核心本地商业/业务研发平台业务研发平台/搜索和推荐平台部搜索和推荐平台部 韩瑞东韩瑞东 2 背景：背景：为什么要做生成式推荐 MTGRMTGR：美团生成式推荐落地实践 MTGRBoostMTGRBoost：训推引擎建设 总结与展望：总结与展望：未来工作OutlineOutline3背景：背景：为什么要做生成式推荐4大模型大模型ScalingScaling LawLaw 2020年OpenAI首次系统性提出Scaling Law的概念模型性能随着模型规模、数据量和计算资源的增加

2、而提升，且遵循一定的数学规律。从GPT开始，旗舰LLM计算复杂度以及参数量快速上升，先后出现了LLama3.1 405B、DeepSeek-R1 671B等大尺寸模型。Kaplan,Jared,et al.Scaling laws for neural language models.arXiv preprint arXiv:2001.08361(2020).5美团外卖美团外卖DLRMDLRM ScalingScaling历史历史Multi-Head AttentionMoE LayerMulti-Query ProjectionKey&Values ProjectionQuery Proje

3、ctionMulti-Head AttentionFusion LayerMoE LayerMulti-task predictionUser behavior sequenceContext User profileTarget itemKey&Values ProjectionQuery ProjectionMulti-Head AttentionConcatMulti-task predictionUser behavior sequenceContext User profileTarget itemMoEScaling modulea.Scaling cross moduleb.Sc

4、aling user module优点：user x item建模充分缺点：训练、推理开销难以优化优点：推理可以进行成本分摊缺点：user only，user x item建模不充分201820222023Scaling module6推荐系统中推荐系统中ScalingScaling LawLaw历史发展与困境历史发展与困境 注意力机制与推荐系统：引入注意力历史悠久：从2017年开始，推荐系统领域就开始尝试引入注意力机制，包括SASRec、DIN等，至今采用浅层注意力研究超长序列建模仍然是推荐系统重要的研究方向。工业实际使用与LLM发展存在巨大gap：工业界至今仍然罕有业务使用超深注意力机制部

5、署线上服务。核心挑战：推荐模型训练的token数以及词表空间都远大于LLM（亿级别用户 x 万级别用户序列 x 数百天训练样本=1014 vs 1012 tokens）线上推理延迟限制严格（30ms）低成本、高效率的训练和推理面临巨大的算法与工程挑战。7推荐系统中推荐系统中ScalingScaling LawLaw历史发展与困境历史发展与困境 落后于LLM发展深层次原因：基建历史包袱重：推荐系统从进入深度学习时代开始，已经使用了近10年的Tensorflow生态，大部分团队还是基于TF1，对于Attention计算的支持远落后于开源Torch生态。算法认知螺旋上升：不同于LLM简洁的decod

6、er-only架构，推荐模型往往包含多个模块，Scaling哪一部分，怎么Scaling等核心问题在很长一段时间没有共识。算法与工程的co-design处于原始阶段：LLM领域中，如何极致的压榨GPU性能是算法设计必须考虑的重要因素（如DeepSeek MLA、NSA），而搜推领域基本没有起步。8推荐系统中推荐系统中ScalingScaling LawLawHSTUHSTU HSTU(Hierarchical Sequential Transduction Units)：首次在业务上落地了生成式推荐系统（Generative Recommenders,GR）大模型，对整个建模方式、任务定义进行