万博揆_量化决策的艺术：AB实验与因果推断论坛.pdf

1、DataFunConDataFunCon#20242024随机实验随机实验AAAA问题的系统解决问题的系统解决演讲人：万博揆 滴滴出行 数据科学中台ContentsContents目录目录背景重随机1.1 问题描述1.2 AA问题的系统性梳理1.3 AA测试与重随机的互补1.4 回顾性AA分析与重随机的互补2.1 分析阶段的优化方案2.2 设计阶段的优化方案2.3 设计与分析的统一优化方案2.4 重随机的注意事项2.5 数据验证2.6 运行示例2.7 各业务场景下的验证2.8 对比其他设计阶段的方案0101、背景、背景1.1 问题描述在一次给定的AB实验中，分流是否均匀？AB实验的范围：实验周

2、期长度不超过1个月的按人群分流的随机实验仅包含一个实验组与一个对照组均匀的分流的定义：假设对实验人群没有进行实验，保持原来的实验分组，观测到两组间核心指标差异不显著分流是均匀的分流是不均匀的策略没有效果核心指标差异不显著核心指标差异显著结论：策略没有效果结论：策略有效果不可观测可观测基于观测结果的推断注：均匀分流对实验结果可信度影响的示意图定义影响问题实验设立阶段实验设计阶段实验评估阶段回顾性AA分析(RetrospectiveAA Analysis)AA测试（AA Testing）重随机(Rerandomization)做法：对实验组人群与对照组人群运行相同的策略，其他方面与AB实验完全一致

3、1.2 AA问题的系统性梳理作用：保证数据质量的可信度与实验思路可以走通注意事项：运行相同策略（e.g.验证系统）/重现历史数据（e.g.假设检验）Q&A：技术相关问题/P值分布相关问题做法：选择在核心指标上最均匀的种子用于AB实验的分流作用：实验前减小不均匀分流出现的可能注意事项：均匀性衡量标准/停止准则Q&A：效果保障(e.g.人群重合度，指标相关性)/统计功效（e.g.回归调整）做法：在AB实验运行结束后再检测，看实验人群AA期的指标是否均匀作用：实验后检验本次分流是否均匀，增加实验结果的可信度注意事项：指标处理逻辑/检验方式选取Q&A：分析阶段/判断标准/事后修正1.3 AA测试与重随

4、机的互补理论推导（一个离群值下p值单峰的理论解释）：数据模拟（示例）：图1.一个离群点存在时AA的p值分布图2.两个离群点存在时AA的p值分布Tips：当离群点数目过多时，直方图无法辅助判断 离群点：不显著 没问题解决方案：针对AA问题：使用AA测试保证数据质量与实验思路针对离群点问题：出现原因剔除/添加阈值更改检验方法（e.g.Wilcoxon Rank Test）（补充内容）P值是均匀分布的原因：1.4 回顾性AA分析与重随机的互补 事后修正：单次补救 决策系统没问题补救逻辑（示例）：数据模拟理论推导回顾性AA分析不显著回顾性AA分析显著提前判断双样本t检验Difference-in-Di

5、fference方法选择解决方案：针对显著问题：AA测试保证数据质量重随机事前规避针对决策系统问题：检测变量的确定检验方式 回归调整图1.使用DID补救导致方差估计错误0202、重随机、重随机回归调整框架：优势：模型回归假设错误的情况下给出更有效的估计和推断（估计准确性高）劣势：在控制变量差异显著时，结果的可解释性低（补充内容 1）EHW robust variance estimator:2.1 分析阶段的优化方案在一次给定的AB实验中，分流是否均匀？（不可观测）问题(旧)在一次给定的AB实验中，控制变量是否均匀？（可观测）问题(新)解法1(事后)实验分析阶段非回归调整回归调整实验设计阶段随

6、机确立随机实验的设计与分析框架(Neyman,1923)优化随机实验的分析框架（Lin,2013）重随机优化随机实验的设计框架（Rubin,2018）重随机与回归调整的统一（Ding,2020）优势：使用Mahalanobis distance在实验前保证了控制变量在平均意义上不显著（抽样准确性高）劣势：使用Fisher Rerandomizaton Test检验Sharp null hypothesis（耗时久，假设强）重随机框架：（补充内容 1）Mahalanobis distance:（补充内容 2）Sharp null hypothesis：2.2 设计阶段的优化方案在一次给定的AB实