5-2 图神经网络与推荐预训练模型.pdf

1、图神经网络与推荐预训练模型宋重钢|目录目录CONTENT|01预训练模型目标预训练模型目标与核心问题与核心问题02推荐系统场景中的推荐系统场景中的预训练模型预训练模型04图神经网络预训练图神经网络预训练案例分享案例分享03预训练模型的预训练模型的服务模式服务模式预训练模型目标与核心问题01|预训练模型的发展历程|NNLM(Bengio et al.,2003)SENNA(Collobert et al.,2011)Word2Vec(Collobert et al.,2013)ELMo(Peters et al.,2018)GPT(Radford et al.,2018)BERT(Devlin

2、et al.,2019)ALBERT(Lan et al.,2019)ResNet(He et al.,2015)iGPT(Chen et al.,2020)ViT(Dosovitsky et al.,2021)BEiT(Bao et al.,2021)MAE(He et al.,2021)LINE(Tang et al.,2015)Node2Vec(Tang et al.,2016)Metapath2Vec(Tang et al.,2017)GraphMAE(Tang et al.,2022)图神经网络计算机视觉自然语言处理预训练目标|预训练模型目标模型自监督学习预训练目标域样本辅助样本全域

3、数据Fine-tuning 打通数据孤岛，充分利用全域信息有效帮助下游任务 整合不同任务信息到同一通用表征空间，减少过拟合风险 为新用户/新场景/长尾情景带来丰富信息，解决稀疏标注样本的问题。预训练核心问题|如何利用全域数据自监督学习如何找到最契合目标任务的网络结构如何找到通用的迁移泛化结构 Generative methods Contrastive methods Adversarial methods SSL S4L GNN Transformer CNN Memory networks BERT Meta learning MTL Contrastive loss Reconstruc

4、tion loss推荐系统场景中的预训练模型02|推荐场景中的预训练模型分类|基于数据的组织形式基于跨域信息的迁移方式行为序列行为网络短期行为序列：Pooling/LSTM/RNN长期行为序列：DIN/DIEN/MIMN/SIM自监督：LINE/Node2Vec/Metapath2Vec模型结构：GAT/GCN/GraphSage训练策略：VGAE/GCL/GANMTLMetaLearning优化方法：MAML/Reptile统计方法：MatchingNN/CSNN参数迁移：MMOE/PLE/STAR样本迁移：ACTL/MGTL图神经网络在推荐场景的优势|契合数据：图网络结构是推荐系统数据的天

5、然组织形式。社交网络 行为网络 知识图谱 信息丰富：结合图论知识，提取高阶关系信息 PPR-based sampling k-Clique/Centrality measures 包罗万象：兼容传统深度神经网络结构，融合节点特征表达团队算法演进方向：技术与业务相辅相成|2016201720182019202020212022Node2VecMetapath2Vec大规模图神经网络预训练广告召回直播召回订阅号召回/广告特征提取多业务接入GATCrossGATDualGATGraphSageMvDGAEMTLGNN预训练模型的服务模式03|预训练模型服务模式|特征召回子模型补充多域信息，丰富用户特

6、征表达适配多种业务形态与目标，通过域外信息激活新用户/新场景作为子模型结构加入下游模型，保留模型抽象能力预训练结果作为下游模型特征|方案一：离散/连续特征分别建模，最终层concat方案二：把embedding特征转换为一个离散特征，与其他离散特征交叉方案三：根据embedding产出topK的ID list作为离散特征预训练结果作为召回|兴趣召回跨域兴趣召回作者冷启动召回图神经网络预训练案例分享04|案例一：跨域兴趣召回GNN|线上推荐业务：微信直播大量新用户通过红点进入直播，缺乏观看行为丰富的其他兴趣行为，如文章阅读、短视频观看社交同质性：社交关系中