2017年Al筑巢-机器学习在凤巢的深度应用.pdf

1、AI筑巢：机器学r在 百度凤巢的深度应用 搜索广告e务简介 CTR预估的前d今生 生成式广告触发 机器学r在内容生态的创新 未来的探索 搜索广告e务简介 关键词购s关键词购s 按点击计费按点击计费 0:70:7t价计费t价计费 搜索广告e务简介 技术围绕e务场景技术围绕e务场景 关键词广告 关键词广告 -7-7-计费 计费 智能触发 智能触发 点击率预估 点击率预估 内容生态 内容生态 （选将军）（创造将军）针对e务优化点针对e务优化点，机器学r在凤巢几o无处a在机器学r在凤巢几o无处a在 CTR预估预估“触发触发“文案生成文案生成“样式选择样式选择“弹性计算弹性计算“风控风控 例如例如：搜索

2、广告e务简介 CTR预估的前d今生 生成式广告触发 机器学r在内容生态的创新 未来的探索-T9预估发展回顾 200)T201()2017 -T9-X-T9-X深度学r全流程深度学r全流程 2015 -T9&.0.NN-T9&.0.NN联合训练联合训练 2014 深度学r深度学r6IGiIC6IGiIC化化 2013 e界首次引入e界首次引入.NN.NN 2013 7CEaMOM7CEaMOM模型上线模型上线 2012 增量增量模型 模型 2011 g性化模型 g性化模型 2009 -T91.0-T91.0 39 39模型上线 模型上线 5000 experiments 深度学r引入CTR进展回

3、顾-T92.0 -T92.0 开启开启.NN .NN -T9-X -T9-X 双塔分离双塔分离，全流程覆盖 全流程覆盖 20 7 -T9&.0 -T9&.0 双双.NN.NN联合训练 联合训练 20 5 20 3 项目启动 项目启动 20 2 LR Model DNN model?dnn?dnnPositionfeasPositionfeas 广告初筛阶段，计算量巨大，使用.NN有挑战”双塔分离.NN模型架构，优化计算逻辑和模型泛化能力，提升变现能力”BCDoLCBCDoLC：3939模型 模型 +DNCL+DNCL：双塔分离双塔分离.NN.NN模型 模型?dnn?dnnPositionfea

4、sPositionfeas 普通普通.NN.NN模型 模型 长耗时/资源损耗，无法由39直接升级到.NN 特征抽取特征抽取：用户侧“+.侧分别抽取 分布式字典分布式字典：网络查询#内存查询 计算方面计算方面：10万级别的DGoaN相p#&2gDGoaN相p 耗时耗时优化 优化 用户用户&广告fg维度的模型广告fg维度的模型分开训练 CTR-X：深度学r覆盖基础排序全流程 由39升级为双塔大规模离散.NN 自有大规模机器学r平台 Abacus|超大规模 可支持可支持千亿千亿级别特征级别特征和万亿万亿模型参数模型参数$允许多机多线程异步实时访问和更新$用u支持大规模离散模型（如离散DNN）的异步s

5、gd训练 自l的自l的Anti Over-Fitting机制机制，可随意使用扩展可随意使用扩展$应用u凤巢CTR模型$应用u手百Feed推荐模型 复杂性 复杂性 扩展性 扩展性 搜索广告e务简介 CTR预估的前d今生 生成式广告触发 机器学r在内容生态的创新 未来的探索 Keyword Targeting传统匹配模式 广泛匹配广泛匹配：福克斯改造 匹配:福特福克斯c卖店，福克斯论坛 短语匹配短语匹配-核心包含核心包含：福克斯改造 匹配：福特福克斯改造，白色福克斯改装 短语匹配短语匹配-同n包含同n包含：福克斯改造 匹配：福克斯改装，改造福克斯 短语匹配短语匹配-精确包含精确包含：深圳福特福克斯

6、改造 匹配：福克斯改造,福特福克斯改造 精确匹配精确匹配：福克斯改造 插入“颠倒“同n“省略 插入“颠倒“同n 字符串包含 字面精确：福克斯改造 地域精确：深圳福克斯改造 高级精确：福克斯改装 用户用户Query Bidword结果 结果 判别式触发 判别式触发 采用深度学r增强校验采用深度学r增强校验 支持多粒度检索支持多粒度检索 大幅提升召回率 大幅提升召回率 数据检索 数据检索 匹配校验 匹配校验 传统触发系统 传统触发系统 检索和校验f步式架构检索和校验f步式架构 召回率低 召回率低 传统触发模式到生成式触发，构建高度智能化的触发引擎 判别式触发 判别式触发 采用深度学r增强校验采用深