探究产品策略优化的长期影响.pdf

《探究产品策略优化的长期影响.pdf》由会员分享，可在线阅读，更多相关《探究产品策略优化的长期影响.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、2023 DataFunSummit探究产品策略优化的长期影响演讲人：王琛 腾讯微信实验平台目录背景介绍现有方法最新研究问答Contents01 背景介绍背景介绍 A/B实验：进行数据驱动决策的重要手段与黄金准则 A/B testing 的本质：小样本统计推断 由“小”带来的主要问题：短期实验结果无法代表长期策略影响 例如一个新的UI设计，上线前通过A/B实验发现对DAU有1%的提升，但无法判断其在上线后三个月是否仍有具有影响 进行长期实验 与产品快速迭代的目标相违背背景介绍 造成策略效应长短期差异的原因 外生影响 市场达到供需均衡状态需要时间 突发事件 内生影响 用户学习：novelty a

2、nd primacy effect 用户结构改变 产品功能发展现有方法 长期Holdout实验 一个策略前期验证过后上线，再留一部分用户不上该策略，长期观察这部分holdout用户与大盘用户的指标差异 费时间，成本高，策略长期不可迭代 若策略存在负面影响，则有伤害用户体验的风险 构建代理指标预测长期 e.g 对用户生命周期价值(LTV)的预估 一般只关注相关性，无法捕捉到因果效应 Cookie-Cookie-day Design：关注用户学习的产生的携带效应，对其单独建模Hohnhold,Henning,Deirdre OBrien,and Diane Tang.Focusing on the

3、 long-term:Its good for users and business.Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2015.现有方法用户学习影响（User learning effect）积极的结果会强化导致该结果的行为，而消极的结果会减少导致该结果的行为搜索广告对用户行为(CTR)的影响=广告相关性等直接因素+用户对广告的“态度”目标：计算预测这种“态度”的变化STEP 1.实验设计多实验组实验，每个实验组开始受到策略干预的

4、时间不同1组受干预的时间为第1-7天，2组第2-7天，3组第3-7天C组代表控制组，不受策略干预计算过去t天策略干预对当下指标的影响：t1=11 1，2=22 21，3=33 31，下标数字t代表第t天STEP 2.用指数函数拟合tSTEP 3.建立长期收益的OEC最新研究 Cookie-cookie-day缺陷 实验设计复杂 变种Cookie-cookie-day 需要对携带效应（Carryover effect）建立参数模型 Estimating Effects of Long-Term Treatments(https:/ 只进行短期实验 根据短期实验结果，结合历史行为数据，估计策略的长

5、期影响最新研究 方法浅析代理指标（Surrogates）:捕捉到W对Y的所有影响的中间变量例：用肿瘤的大小作为代理指标探究一种靶向药对癌症患者五年生存率的影响将总时间划分为一系列时间窗的加和用代理指标中和早期策略对长期指标的影响根据上一阶段的代理指标、本阶段的策略W、用户协变量，建立对该阶段代理指标与结果Y的预测不断重复嵌套，得到一系列的预测，直到到达想要的预测时间点WYS最新研究现有一个进行了T时间的长期实验，我们将T分解为=+1:可观测到的实验阶段，模拟短期AB实验时间，例如7天+1:无法观测到的未来，例如一个月后:实验前历史时间假设实验者站在时刻目标：用1:时间段的实验数据+的历史数据，

6、预测+1:时间段每个时刻策略的效应将预测效应与真实的T时间实验得到的效应进行比较对于任意一个用户，在t时刻（），定义如下记号：从1到t时刻所接受的策略 1:t=/关注的结果 =(1:)代理指标(Surrogates)=(1:)目标平均处理效应：=()()最新研究1月月1日日特价全场特价全场五折五折影响1月1日点击次数1月1日搜索次数2月1日浏览时长活动策略对一个月后指标的影响（被Surrogates中和）1月1日购买量某电商平台1月1日的特价活动对2月1日的网站流量时长的影响Surrogates：代理指标，覆盖住了