因果推断在快手短视频推荐的应用-峰会ppt.pdf

《因果推断在快手短视频推荐的应用-峰会ppt.pdf》由会员分享，可在线阅读，更多相关《因果推断在快手短视频推荐的应用-峰会ppt.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummit#2023因果推断技术在快手短视频推荐中的应用演讲人-林肖-快手-高级算法专家01快手单列短视频推荐场景02因果推断技术与模型表示03观看时长预估与因果推断技术04未来的展望目录 CONTENTDataFunSummit#202301快手单列短视频推荐场景关于快手 头部短视频和直播社区 MAU：6.733 亿 DAU：3.760 亿 拥抱每一种生活 单列：沉浸式体验 双列：自主选择 推荐算法在流量分发与提升用户体验方面起到了核心作用快手单列短视频推荐场景 快手单列推荐场景特点：业务侧：用户行为模式：上下滑动，无需点击，直接播放 反馈：多种互动反馈，观看时长，滑动行为等

2、 优化目标：长期目标与短期目标 系统侧：日志来源：有限，且存在自循环 用户人群受众广、差异大 视频数量大且更新频繁 流行度偏差 长短视频曝光偏差 关注的问题：如何在短视频推荐中利用因果技术进行纠偏，从而提升推荐效果DataFunSummit#202302因果推断技术与模型表示因果推断技术与模型表示 背景：推荐系统通过交互日志进行学习 用户的交互归因可能来自于兴趣或者从众 不同用户对相同item的从众心理不同 相关工作：纠偏工作流行度作为静态偏差流行度仅与item有关 解耦表示考虑用户侧从众心理的差异交互可能来自于从众心理和兴趣的叠加因果推断技术与模型表示 DICE：解耦conformity与i

3、nterest以click为例，交互来自于双重因素的叠加separate embeddings from cause-specific samples 因果视角：Additive model for click record!=!#$%&%$+!()#*)&+$,通过colliding effect构建样本在不同cause上的偏序关系Disentangling User Interest and Conformity for Recommendation with Causal Embedding.Webconf 2021 Zheng,et al.因果推断技术与模型表示 DCCL：解耦conf

4、ormity与interest带来了帮助实际推荐系统中存在大量长尾item观测数据存在稀疏性采用偏序关系也很难解决稀疏性问题引入对比学习进行样本增广Batch内负采样进行样本扩充引入item popularity ratioDisentangled Causal Embedding With Contrastive Learning For Recommender System.Webconf 2022.Zhao,et al.More popular,more conformityLess popular,more interest因果推断技术与模型表示 实验结果：因果推断技术与模型表示 总结

5、：短视频中的用户交互可能是由于兴趣和从众心理的叠加作用 从因果的角度出发兴趣和从众心理会对模型表示带来影响 采用causal embedding的手段可以从结构上实现表示解耦 实际系统中的短视频数量庞大，且存在大量长尾视频，样本稀疏 通过对比学习和样本增广进行缓解DataFunSummit#202303观看时长预估与因果推断技术观看时长预估与因果推断技术 视频观看时长的重要性用户体验的核心指标之一用户的注意力有限观看时长提升长期留存推荐系统需要准确预估观看时长志采集模型训练推荐视频时反馈 观看时长的影响因素用户对视频的兴趣视频本身的长度长视频观看时长偏长系统倾向于推荐观看时长更长的视频推荐系统

6、处于bias强化循环中 观看时长的预估视频长度是较强的biasDuration Bias的研究较少时长预估是特殊的回归问题观看时长预估与因果推断技术 因果角度分析时长与duration bias观看时长由若干个因素同时影响U：用户特征表示：视频特征表示：视频长度：用户观看视频的时长,：表示UV对观看时长的影响 ：表示视频长度对观看时长的影响 ：表示视频长度对视频特征的影响 Deconfounding Duration：后门调整Deconfounding Duration Bias in Watch-time Prediction for Video Recommendation.KDD 202

7、2,Zhan,et al.观看时长预估与因果推断技术 D2Q：Deconfounding duration的近似处理依据duration分组进行数据拆分通过拆分数据分别训练模型拆分训练可能带来稀疏性问题适当的参数共享观看时长预估与因果推断技术 D2Q拆分训练可能带来稀疏性问题适当的参数共享直接采用回归模型回归时长分位点观看时长预估与因果推断技术 实验结果：快手数据集 对比方法：VR(Value Regression)：直接回归WLR(Weighted Logistic Regression)：时长加权模型D2Q：Duration-Deconfounded Quantile-based Pred

8、ictionRes-D2Q：D2Q+Residual连接观看时长预估与因果推断技术 实验结果：观看时长预估与因果推断技术00.10.20.30.40.50.60.7Model aModel bPrediction distribution of TB1s3s5s!=5.0=4.0#=3.5!=5.0#=3.5=2.0CASE1:CASE2:回顾观看时长预估问题：D2Q通过后门调整缓解了bias放大问题时长预估问题本身的挑战没有完全解决 顺序关系：回归误差无法反应顺序关系系统倾向于推荐分数更高的item 不确定性建模：预测模型应该能够考虑时长预估值的不确定性预估值需要准确且置信两个case对)的

9、回归误差相同，但是推荐结果差异很大倾向于选择model a观看时长预估与因果推断技术 顺序关系：回归误差无法反应顺序关系系统倾向于推荐分数更高的item 条件依赖关系：视频观看行为中存在条件依赖关系用户必须先看完50%的视频才能全部看完整个视频 不确定性建模：预测模型应该能够考虑时长预估值的不确定性预估值需要准确且置信 偏差放大问题：除视频长度之外，还有很多因素可能带来偏差WLRD2QTPM顺序关系条件依赖不确定性建模偏差问题Tree based Progressive Regression Model for Watch-Time Prediction in Short video Reco

10、mmendation.KDD 2023,Xiao Lin,et al.观看时长预估与因果推断技术 时长预估问题转换成搜索问题：0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1sAssuming that 0sT4s.Q:does watch time exceed 2s?!观看时长预估与因果推断技术 时长预估问题转换成搜索问题：0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1sAssuming that 0sT4s.Q:does watch time exceed 2s?A:No.0sT2sQ:Does watch time exceed 1s?!观看时

11、长预估与因果推断技术 时长预估问题转换成搜索问题：0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1sAssuming that 0sT4s.Q:does watch time exceed 2s?A:No.0sT2sQ:Does watch time exceed 1s?A:Yes,1sT2s!观看时长预估与因果推断技术 TPM：将时长预估问题转换成为若干个互相条件依赖的分类问题构建成完全二叉树，每个节点对应某个有序区间从根结点出发向下逐次进行二分搜索每次搜索对应一个二分类问题0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1sTree construct

12、ion:1.Compute quantiles of watch time2.Set ordinal ranks for discretion3.Set ranks as leaf nodes4.Merge two child nodes to a parent node repeatedly观看时长预估与因果推断技术 TPM：将时长预估问题转换成为若干个互相条件依赖的分类问题构建成完全二叉树，每个节点对应某个有序区间从根结点出发向下逐次进行二分搜索每次搜索对应一个二分类问题0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1s!()(!()|!(1)#,=2$%&%(!)(!

13、()|!(1),=4!#,(#|,)*-:从根节点到叶子结点+的路径$,.-():路径*-上第i层的节点观看时长预估与因果推断技术 不确定性建模：从根结点到叶子结点的路径构成了watch time的多项分布 根据多项分布可以计算方差 训练时：预估时长均值与真实label接近预估时长方差尽可能小0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1s!()(!()|!(1),=4!#,(#|,),=*,*观看时长预估与因果推断技术 TPM与后门调整无缝衔接：:Confounding factors affect watch time directly.:Confounding fa

14、ctors affect feature representations implicitly.:Feature representations directly affect watch time =4 =(|,=)=4(=)4 ,=(|,=)=44 =,=(|,=)为每个 confounding factor 取值的样本构建一个模型为每个 confounding factor 取值的样本构建一个对应的树观看时长预估与因果推断技术 Share-bottom 结构:共享特征embedding和部分中间层参数 节点和干扰因子specific的输出层 训练和预估时分别处理观看时长预估与因果推断技术

15、 实验结果:快手公开数据集 对比方法：WLRD2QOR：有序回归 评估指标：XAUC，MAEusersitemsimpressionskuaishou71761072812530806观看时长预估与因果推断技术 实验结果:全在线流量被均匀分为10组20%流量作为基线20%流量作为实验组超过3.6亿dau的平台TPM在排序阶段生效Watch time有显著提升约束指标如转发等基本持平短播数量有明显降低观看时长预估与因果推断技术 总结:视频观看时长是短视频平台核心指标 时长预估的两个层面：Duration bias如何处理回归问题 采用后门调整方式可以缓解duration bias 近似将视频du

16、ration分组，每个组设计对应的模型回归时长 通过树结构分解时长预估问题可以有效处理回归问题 将播放时长分成若干个层次化有序区间，通过树的遍历进行时长预估0sT4s2sT4s3sT4s2sT3s0sT2s1sT2s0sT1sDataFunSummit#202304未来的展望未来的展望 短视频推荐场景的丰富性：单列上下滑场景双列瀑布流场景横屏竖屏模式听视频与看视频场景互动与观看行为的丰富性 推荐系统的复杂性日志的采集目标的定义算力与实验观测的约束 技术手段的多样性因果推断机器学习运筹优化如何定义出一个好的具有业务价值的问题能否从因果推断的角度来认识和建模能否系统化自动化寻找到关键的变量和手段是否能够高效低成本的找到对应的技术方案感谢观看