虎牙实验科学实践.pdf

1、DataFunSummit#2023虎牙实验科学实践黄琨 虎牙 数据科学家01虎牙的数据赋能挑战02实验文化与平台能力建设03结合场景服务扩展04总结与回顾目录CONTENTDataFunSummit#202301虎牙的数据赋能挑战虎牙是一个内容供给平台，业务诉求是典型的因果推断问题内容主播内容对大盘的贡献如何制定主播激励目标推荐如何提升用户冷启效果如何提升用户长期价值增长广告投放拉新拉活的贡献如何制定推送策略提升效果因果推断问题这是一个广告投放场景如果不拉新，新用户会减少多少如果X，Y会怎么变化从因果推断三层次看数据团队的价值数据驱动科学度量指标描述核心价值AB实验可以消除混淆因子影响，帮助

2、用户科学评估广告拉新场景下的DAG图混淆因子干预目标但是AB Test只能解决一部分场景的问题外部数据无法获取广告平台AB标签无法感知围绕虎牙的业务问题，部分实验可解，部分实验不可解因果推断场景实验可解场景内容线：主播掉宝活动能否提升用户留存增长线：投放拉活可以带来多少用户增长贡献营收侧：下线非常用礼物对营收有多大影响产品线：产品瀑布流、沉浸式的改版对用户时长有多大影响音视频：上线画质增强功能能否给用户带来时长提升新的开播工具对用户体验有什么影响上线新礼物类型会对营收有什么影响主播侧流优化对直播效果是否有负向影响为达成增长目标，增长侧需要投入多少资源如何制定主播激励方案，最大化实现大盘DAU增

3、长DataFunSummit#202302实验文化与平台能力建设虎牙实验平台建设经历了三阶段32123实验文化推广阶段额外开发：AB SDK需要额外接入，场景未能全覆盖价值认可低：直觉驱动，不显著也会推实验效率提升阶段扩展服务边界实验效率：仅具备基础的T检验+Delta Method指标效率：指标by场景，制作流程较长解释性差：欠缺画像及下钻能力无法实验场景：内容侧、主播侧等敏捷实验：单日的活动需求核心挑战CUPED、多重检验方法上线底层数据重构，支持批量生产支持指标集的画像与维度拆解实验能力完善因果推断相关方法应用探索SDK优化与场景覆盖重点实验支撑，打造典型案例重点工作对于刚接触实验的用户

4、，形成典型案例是个敲门砖理想的AB过程定位：数据驱动事前：实验方案设计存在部分场景未接入ABBY场景的指标开发，复用率低事中：策略异动监控可能和业务报表数据出现不同口径只依赖显著性决策事后：指标简洁有效自助复盘较多的指标展示，单实验上百指标知道显著但是不知道为啥显著实际的AB过程定位：看数+决策初阶实验用户潜移默化：通过案例专项建立信任及合作关系，形成实验复盘模板深入业务：抽象业务指标模型+精简指标集市=重构指标体系平台能力：提供高效的实验流程，标准化实验流程建设用户初步形成实验习惯后，平台怎么帮助实现实验提效指标效率指标生产提效ETL底层与指标分级，提升指标计算效率统一可拆解字段，缩短指标配

5、置时间指标集市建设维护指标口径，对齐大盘口径生命周期管理，下线重复无用指标实验效率实验武器库方差缩减方法：CUPED,CUPED+等多种检验方法：秩和检验，MAB等假阳性控制实验观测及推全规范多重检验分流机制科学性复盘效率可读性贝叶斯ABHTE(异质性因果效应)灵活性可拆解可下钻的指标体系可筛选的用户画像可选择的统计周期虎牙落地的实验方法效果分享多重检验有效降低假阳性，但是需同时考虑二类错误用户存在偷瞄情况，实验机制值得注意CUPED可以在有限的实验周期内，提升指标灵敏度DataFunSummit#202303结合场景服务扩展拉活场景的实验数据驱动在广告平台投放广告，用户对广告感兴趣可通过点击

6、拉起虎牙app，给虎牙带来日活外部APP广告展示点击后跳转提示拉起虎牙外部APP点击后无提示跳转接入RTA可以帮助实现目标用户转化RTA服务RTA(Real Time API)是广告系统和广告组的实时判断服务，红框为RTA对比传统广告模式的差异广告主广告系统用户1、设置广告2、请求广告4、返回判断3、同步信息5、广告曝光过滤非目标用户当日活跃非流失用户目标用户已点击用户重复点击次数拉起率首启率七日沉默占比DAU次日留存拉起用户数点击用户数预期变化点击到DAU转化DAU关键指标深挖RTA接入实验结果，确定真实效果质量