打造适合用户增长场景的AB实验体系.pdf

《打造适合用户增长场景的AB实验体系.pdf》由会员分享，可在线阅读，更多相关《打造适合用户增长场景的AB实验体系.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、2023 DataFunSummit打造适合用户增长场景的AB实验体系演讲人：田间字节跳动TikTok UG Prod DS leader目录新用户场景下实验面临的问题01新实验体系及其科学性验证02新实验体系应用案例分享03Learning04新用户场景下实验面临的问题01聊聊UG全景图PaidAdsASOSEO分享裂变自然新手期（New user period）成长期（Growth period）成熟期（Stable period）衰退期（Churning period）流失期（Churned period）MAU拉新+新手运营+NUF拆解后精细化运营流失预警 促活挽留流失召回非MAUti

2、meline未达稳态关键行为x稳定高价值降幅AB实验原理随机SUTVA决策结合统计方法与实验假设，做出决策AB实验分流类型实验平台分流Pros实验平台保证分流均匀性Cons必须有唯一稳定ID才可分流客户端本地分流Pros无时延，开机即可分流Cons分流均匀性无法保证新用户场景AB实验面临的问题问题 1尽可能早的分流新用户场景AB实验面临的问题问题 1尽可能早的分流指标口径ID未生成指标口径ID已生成初始页面82.93%17.07%页面118.62%81.38%页面216.08%83.92%页面315.35%84.65%页面47.81%92.19%页面53.98%96.02%页面63.69%96

3、.31%页面72.95%97.05%非真实数据，仅供展示说明用新用户场景AB实验面临的问题问题 2分流不均客户端本地分流重复进组次数占比179.09%210.53%34.84%42.84%52.69%非真实数据，仅供展示说明用Pros无时延，开机即可分流Cons分流均匀性无法保证新用户场景AB实验面临的问题问题 2分流不均用户卸载重装后，分流ID与统计ID不匹配新用户场景AB实验面临的问题问题 3实验评估标准观察时机远远晚于策略作用的时机,造成 survivorship biasapplaunch+分流策略作用指标ID生成并统计数据FYPTime新实验体系及其科学性验证02新用户场景实验分流I

4、D选择及时性开机即可获取唯一性单次安装周期内稳定，与指标口径id一一对应合规性满足安全合规要求分流ID选择标准新用户场景实验分流ID选择分流ID总量与指标ID 1vs1数1vs1 比例分流ID指标计算ID1xx,xxx,xxx1xx,xxx,xxx99.79%指标ID总量与分流ID 1vs1数1vs1 比例指标计算ID分流ID2xx,xxx,xxx2xx,xxx,xxx99.59%非真实数据，仅供展示说明用分流能力科学性检验均匀性实验流量对照组=实验组正交性Layer1-对照组1Layer1-实验组1Layer1-对照组2Layer1-实验组2Layer2-实验组1Layer2-对照组1分流结

5、果科学性检验对照组1AA simulator 1000+次对照组2对照组1对照组2对照组1对照组2对照组1对照组2非真实数据，仅供展示说明用应用案例分析03新用户场景实验评估渠道 1渠道 2渠道 3渠道 4渠道 5渠道 6Ret RateApplaunchNUJNUT新用户场景实验评估假设新用户下载安装-首启的流程新用户场景实验评估新用户场景实验评估指标ID分流实验结果进组新设备数Retention Rate对照组4,000,05380.1%实验组+0.00027%4,000,164|p_val=0.97-2%78.4%|p_val=0.001非真实数据，仅供展示说明用新用户场景实验评估本地分

6、流实验结果进组新设备数Retention RateStay Duration对照组4,000,08880.1%100实验组+1%4,040,089|p_val2e-16+0.5%80.18%|p_val=0.001-1%99|p_val=0.001非真实数据，仅供展示说明用重复进组次数占比179.09%210.53%34.84%42.84%52.69%非真实数据，仅供展示说明用新用户场景实验评估新分流实验结果分流进组ID数有效新设备数Retention Rate对照组5,00