PLE — 一种新的分层萃取多任务学习网络结构.pdf

1、Progressive Layered Extraction (PLE）Output AOutput B一种新的分层突取多任务不个Tower ATower B学习（MTL）模型和由此关于AdI的一点思着刘军宁InputTencent腾讯#page#Short Bio廣秀淘Tencent腾讯E蚂蚁金服新华智云一OnBDADVERPLEXTencent腾讯#page#Outline1.Background: Recommender System GRS）MultitaskLearning（MTL）多任务学习为什么MTL成为RS广泛采用范式2.PLE分层萃取多任务学习模型3.强人工智能-AGI的一点

2、思考Tencent腾讯#page#BackgroundRecommender System: Most widely used AI technique2勺视频信息流：YouTube微视19BIGOLIVE花椒直播淘宝直播抖音快手下一代信息流TikTokQO视频号meitu美图社交：学看一看淘蘑菇街美团电商：woouozeue京东头条传统信息流：腾讯新闻知乎新浪微博今日头条腾讯看点第一代信息流Tencent腾讯#page#BackgroundIndustry RS Mainstream Approach: Multitask learning(MTL) 排序层9.工业界案例分享多目标学习在推荐

3、系统中的应用（1）美团本文橱路美团消你喜欢”深度学习排序模型实践，地址R（2）知乎进击的下一代推荐系统：多目标学习如何让知学用户互动率提升100%？，地址：保2020 Google开发者大会33s/GUMz官方最全技术HjQvzdGVOkKz4zA口干货集锦！（3）美面0马上直收当推荐退到社交：美面的推荐算法设计优化实践，地址：nES多任务学习在美围维荐排序的近期实践，地址QOSW33Q8QTfATTencent腾讯#page#Common MTL StructuresHard Parameter Sharing Caruana， 1997Task ATask Bsame sharing pa

4、rameters for different tasksTask-specificlayers=negative transferTower ATower BSharedlayersInputTencent腾讯#page#Common MTL StructuresHard Parameter Sharing ICaruana,1997same sharing parameters for different tasksnegative transferASKs Soft Parameter Sharing between single task and hard sharingConstrai

5、nedlayersTencent腾讯#page#Common MTL StructuresCross-stitch Network Misra et al，2016Hard Parameter Sharing ICaruana,1997 same sharing parameters for different tasksnegative transfer Soft Parameter Sharing between single task and hard sharingCross-stitchNetwork（十字绣网络）IMisraetal，2016&SluiceNetwork（水闸网络）

6、Ruderetal，Sluice Network Ruder et al，20172017static fusing weights售Tencent腾讯#page#MTL Benefit增强迁移/泛化：InductiveBias归纳偏置Knowledgesharing：InductiveTransfer归纳迁移，减少训练数据量需求BetterRegularization鼓励模型学通用的共享的东西利于学到适用新任务上的泛化表征Coordinated representation learning互助特征表征学习- More efficient representation learning co