嵇智-生成式推荐广告召回.pdf

1、演讲人：嵇智 百度资深算法工程师百度生成式推荐广告召回背景介绍01演进工作02核心突破03未来规划04目 录CONTENTS背景介绍|生成式广告召回n传统双塔、图等模型Scaling Law已进入饱和区双塔Graph参数量召回率粗暴增加参数规模无法带来效率提升。n行为序列 vs NLP，生成式能力迁移存在空间n召回提效是系统提效的关键1.行为序列是沉淀在系统的宝贵资产2.Transformer高效的序列建模能力3.生成式+行为序列大有可为用户行为序列召回是检索系统入口，决定了下游系统的吞吐。召回精度的大幅提升，是实现漏斗压缩提效的关键。入口精度提升，降低整个系统吞吐。背景背景介绍|生成式广告召

2、回n传统双塔、图等模型Scaling Law已进入饱和区双塔Graph参数量召回率粗暴增加参数规模无法带来效率提升。n行为序列 vs NLP，生成式能力迁移存在空间n召回提效是系统提效的关键1.行为序列是沉淀在系统的宝贵资产2.Transformer高效的序列建模能力3.生成式+行为序列大有可为用户行为序列召回是检索系统入口，决定了下游系统的吞吐。召回精度的大幅提升，是实现漏斗压缩提效的关键。入口精度提升，降低整个系统吞吐。背景item1item2item3targetTransformer行业：文运传媒-视频平台公司名称：xxx传媒有限公司标题：千亿总裁，看见村姑竟低头叫妈推广点：2024热

3、播短剧转化类型：付费阅读落地页信息:性别：xx地域：xx使用设备：xx系统：xx行业：xxx公司名称：xxx标题：xxx推广点：xxx转化类型：xxx落地页信息:方案背景介绍|生成式广告召回n传统双塔、图等模型Scaling Law已进入饱和区双塔Graph参数量召回率粗暴增加参数规模无法带来效率提升。n行为序列 vs NLP，生成式能力迁移存在空间n召回提效是系统提效的关键1.行为序列是沉淀在系统的宝贵资产2.Transformer高效的序列建模能力3.生成式+行为序列大有可为用户行为序列召回是检索系统入口，决定了下游系统的吞吐。召回精度的大幅提升，是实现漏斗压缩提效的关键。入口精度提升，降

4、低整个系统吞吐。背景利用生成式范式，高效建模序列关系；生成用户下一个感兴趣的item。1）超长文本输入的性能压力，30itemsx300tokens/item=9000tokens/ins；2）短文本表示（如xx游戏、xx小说），信息损失严重；思考：Item表征优化，是核心工作之一；不同表征下的序列建模设计是第二个核心工作。要求：同时满足信息完备、性能约束、高效关系建模。任务挑战&思考item1item2item3targetTransformer行业：文运传媒-视频平台公司名称：xxx传媒有限公司标题：千亿总裁，看见村姑竟低头叫妈推广点：2024热播短剧转化类型：付费阅读落地页信息:性别：x

5、x地域：xx使用设备：xx系统：xx行业：xxx公司名称：xxx标题：xxx推广点：xxx转化类型：xxx落地页信息:方案背景介绍|生成式广告召回n传统双塔、图等模型Scaling Law已进入饱和区双塔Graph参数量召回率粗暴增加参数规模无法带来效率提升。n行为序列 vs NLP，生成式能力迁移存在空间n召回提效是系统提效的关键1.行为序列是沉淀在系统的宝贵资产2.Transformer高效的序列建模能力3.生成式+行为序列大有可为用户行为序列召回是检索系统入口，决定了下游系统的吞吐。召回精度的大幅提升，是实现漏斗压缩提效的关键。入口精度提升，降低整个系统吞吐。背景利用生成式范式，高效建模

6、序列关系；生成用户下一个感兴趣的item。1）超长文本输入的性能压力，30itemsx300tokens/item=9000tokens/ins；2）短文本表示（如xx游戏、xx小说），信息损失严重；思考：Item表征优化，是核心工作之一；不同表征下的序列建模设计是第二个核心工作。要求：同时满足信息完备、性能约束、高效关系建模。任务挑战&思考item1item2item3targetTransformer行业：文运传媒-视频平台公司名称：xxx传媒有限公司标题：千亿总裁，看见村姑竟低头叫妈推广点：2024热播短剧转化类型：付费阅读落地页信息:性别：xx地域：xx使用设备：xx系统：xx行业：x