陈少鹏-GRAB-百度推荐广告生成式排序模型技术实践.pdf

1、演讲人：陈少鹏 百度资深工程师GRAB百度推荐广告生成式排序模型技术实践微信公众号：百度商业技术干货满满欢迎大家关注！推荐大模型化趋势Large Recommendation Model01GRAB整体设计Design of GRAB02挑战及解法Challenges and Solutions03总结及展望Conclusion and Future Work04目 录CONTENTS推荐大模型化趋势L a r g eR e c o m m e n d a t i o nM o d e l推荐大模型化趋势 百度传统广告模型瓶颈传统范式DLRMs：大规模离散特征+MLP1、特征规模已至上限，难以

2、迭代2、序列表征有压缩，建模损失大3、离散特征刻画，强记忆，弱推理4、广告变化快，ID记忆下，序列建模时历史行为、历史ID的激活率比较低用户行为序列HardSearch子序列（如按广告品牌匹配）待打分广告gatenormalizationfield_1field_2EmbeddingCTR聚合、统计等推荐大模型化趋势 百度传统广告模型瓶颈传统范式DLRMs：大规模离散特征+MLP1、特征规模已至上限，难以迭代2、序列表征有压缩，建模损失大3、离散特征刻画，强记忆，弱推理4、广告变化快，ID记忆下，序列建模时历史行为、历史ID的激活率比较低DLRMs难以Scaling！大模型的Scaling L

3、aw成为新希望！推荐大模型化趋势 再谈LLM的Scaling Law(i)数学原理在牛顿时期已经形成，在300年后的今天LLM发挥出价值数据供给：数字信息时代、互联网时代算力跃升：并行计算、异构硬件算法创新：BP算法（训练）ResNet（深度）Transformer（序列+并行）推荐大模型化趋势 再谈LLM的Scaling Law(i)数学原理在牛顿时期已经形成，在300年后的今天LLM发挥出价值数据供给：数字信息时代、互联网时代算力跃升：并行计算、异构硬件算法创新：BP算法（训练）ResNet（深度）Transformer（序列+并行）站在数据与算力的肩膀上！推荐大模型化趋势 再谈LLM的S

4、caling Law(ii)大模型的Scaling Law在百度推荐场景复现推荐大模型化1、大语言模型推荐：借用LLM的记忆、推理能力，场景数据适配到LLM指标差了在百分位以上直接迁移广告数据到通用LLM，缺失离散特征、模型能力限制、LLM与本场景差异大2、大语言模型表征：使用LLM的表征增强推荐模型，提升表征、泛化能力可以提升泛化性、补充多模态理解能力但偏长期，且价值受长尾、冷启用户的商业价值限制3、生成式序列化建模：借用LLM上对于Transformer、Long-context等序列化建模技术，在推荐场景进行改造应用Meta提出GR方案革新推荐模型范式，百度商业已于2025年4月份推全G

5、RAB方案按照用户序列来获得推荐模型的Scaling能力，得到了广泛验证推荐大模型化趋势 再谈LLM的Scaling Law(ii)大模型的Scaling Law在百度推荐场景复现推荐大模型化1、大语言模型推荐：借用LLM的记忆、推理能力，场景数据适配到LLM指标差了在百分位以上直接迁移广告数据到通用LLM，缺失离散特征、模型能力限制、LLM与本场景差异大2、大语言模型表征：使用LLM的表征增强推荐模型，提升表征、泛化能力可以提升泛化性、补充多模态理解能力但偏长期，且价值受长尾、冷启用户的商业价值限制3、生成式序列化建模：借用LLM上对于Transformer、Long-context等序列化

6、建模技术，在推荐场景进行改造应用Meta提出GRs，革新推荐模型范式。百度商业已于2025年4月份推全GRAB方案按照用户序列来获得推荐模型的Scaling能力，得到了广泛验证GRAB整体设计DesignofGRABGRAB整体设计 设计理念&目标1、“历史序列与目标行为”分离到统一：统一表征历史序列与目标行为，在同一空间进行行为建模；2、“平铺”到“结构化”：将用户行为表征重构为结构化表征，实现不定长、不定宽、层级化等的序列信号输入；3、“手动设计”到“自适应”：用户序列直接输入，实现自适应的信息输入，避免人工设计的特征带来的信息折损；4、“高效注意力