徐萌：双边平台中的因果效应.pdf

1、输入标题 Title 2023 DataFunSummit2023 DataFunSummit双双边边平台中的因果效平台中的因果效应应Global Treatment Effect in Two-Sided Platforms演讲人：徐萌公司：Snap Inc.职位：Lead Applied Research Scientist输入标题 Title 目目录录估算因果效应不容易：双边互动1单边实验的后续分析2特殊实验设计3总结、问答与讨论4Contents输入标题 Title 01 估算因果效估算因果效应应不容易：双不容易：双边边互互动动输入标题 Title 平台中的互动关系 各种平台中广泛存在

2、着各种双边互动关系 电商平台：买方和卖方 社交网络：内容创作者和内容观看者 分享经济平台：司机和乘客，房东和房客 旅游网站：游客和酒店机票代理 在这些平台进行随机试验（A/B study）往往会影响到双边互动关系 以社交媒体Snapchat为例影响内容创作者创作的实验也会进一步影响内容观看者的平台使用改善内容的画质影响内容观看者的实验也会影响内容创作者点赞多、观看多、评论多，能激励更多创作输入标题 Title 随机实验做什么实验的目的：估算全局效果（global treatment effect）因果推断：把实验处理（treatment）推广到所有人有什么效果比较两个平行宇宙的结果：什么都不做

3、 VS 把一个改变推广到所有人不能穿越到另外的宇宙，通过随机试验（A/B study）来估算效果随机试验（A/B study）随机把实验对象分成控制组（A）和对照组（B），样本足够两组人可比什么时候随机试验可以用两组结果的差异准确估算全局效果Stable Unit Treatment Value Assumption（SUTVA）一个实验对象被分配到实验组还是对照组不会影响其他实验对象的结果输入标题 Title 互动关系：单边随机试验无法估算全局效果（一）两种常见的单边实验设计（以社交媒体为例）随机分配内容创作者随机分配内容观看者互动关系的存在使得我们无法通过单边随机试验来估算全局效果（以随机

4、分配内容创作者的实验为例）违背了SUTVA，一个实验对象被分配到实验组还是对照组影响其他人的结果影响到控制组的内容创作者一个实验使得实验组的创作在推送中排名上升，控制组和其他没有参加实验的创作者排名下降，在实验推广到所有人之后两组创作者重新排名，区别消失，实验高估真实效果影响内容观看者改善画质，提高内容水平，影响内容观看者的参与度输入标题 Title 互动关系：单边随机试验无法估算全局效果（二）一个例子影响控制组的内容创作者一个实验改善了发布质量，使得实验组的创作在推送中排名上升，控制组和其他没有参加实验的创作者排名下降，在实验推广到所有人之后两组创作者重新排名，区别消失，实验高估真实效果真实

5、因果效应是250实验中两组差是1500，高估实验真实效果点击量控制组实验组没有改善10001000实验组有改善5002000两组都改善12501250输入标题 Title 如何估算全局效果没有一个万能的方案，所有方法都有局限性，适合用在不同情况下单边实验的后续分析设计衡量另一方参与度的指标，viewer-side metrics因果中介分析（causal mediation analysis）特殊实验设计聚类随机试验（cluster randomization experiment）时间序列试验（switchback/time-series experiment,interrupted tim

6、e series(ITS)）合成控制法（synthetic control）双边随机试验（two-sided randomization design）输入标题 Title 02 单边实验单边实验的后的后续续分析分析输入标题 Title 单边实验设计两种常见的单边实验设计（以社交媒体为例）随机分配内容创作者的实验(creator-side experiment)（侧重讲）随机分配内容观看者的实验(viewer-side experiment)如果随机对象（randomization unit）之间较少互相影响，单边实验后续分析可行随机分配内容创作者的实验中内容创作者之间没有非常明显的竞争关系设